# 書籍紹介『IT Text 自然言語処理の基礎」

小田悠介 ${ }^{\dagger, \dagger \dagger}$

## 1 はじめに

本記事は, 2022 年 8 月 24 日に発売された書籍『IT Text 自然言語処理の基礎』(情報処理学会編，岡崎直観・荒瀬由紀・鈴木潤・鶴岡慶雅・宮尾祐介著, オーム社, ISBN 978-4-274-22900-8) の紹介記事である。本書が出版された時期に本誌編集委員会で話題があり，本記事の著者が紹介記事の作成を承った。

本書は 2022 年時点までの手法的な側面を中心に，自然言語処理関係の技術を広く紹介した教科書として構成されている。自然言語処理における他の主要な教科書と比較して本書に特徵的 なのは，一部の章を除く紙面の大半が深層学習に関する内容で構成されている点である。本書中では既存の書籍に記載のない事項を優先したと述べられているが，現時点での自然言語処理 を取り巻く状況を鑑みても妥当な構成であると思われる.

本誌の読者はご存知のように， 2022 年時点での自然言語処理技術は，おおよそ 2013 年の Word2Vec の登場を境として, 多数のタスクにおいて深層学習に基づく手法が標準的に採用さ れるという研究動向の変化が生じている。深層学習が導入されてからの業界の発展は目覚まし く，ほぼ毎月のように新たな手法が登場し，既存の結果を更新するといった様相を呈するまで になった.このように発展の著しい中で，本書以前にも深層学習を中心に据えた日本語書籍は 何点か出版されているが，教科書として十分な網羅性を提供するという意味では本書が初であ ると思われる。

本書の出版時点では，過去に乱立していた数々のモデル構造が実質的に Transformer に統一 されるなど，深層学習を用いた手法の整理整頓も進みつつある。こういった状況を俯瞰する点 においても，本書は教科書として適した時期に出版されたのではないかと思われる.

ただし当然のことながら，本書の出版に前後する時期の話題については取扱われていない点に は注意が必要である。たとえば 2022 年の後半には, 自然言語からの高品質な画像生成や, GPT を応用した高機能な対話システムの登場により，技術に直接関わりのない層まで含めて大変な 話題になるという現象が発生した。これに関連して，技術的にはマルチモダリティやプロンプ トといったトピックでの研究が活発になりつつあるが，これらについての解説は本書全体から

すれば非常に僅かである.

## 2 本書の内容構成

本書の全体的な構成を図 1 に示す。具体的な複数部構成を採用しているわけではないが，本書はおおよそ下記の 4 部で構成されていると考えられる.

基礎知識（1,2 章） 1 章は自然言語処理に関する一般的な用語や概念の説明， 2 章は以後の 章で頻出する機械学習に関する基本的な知識の説明となっており, 本書を読み進めるにあたっ て前提となる知識を復習する章である。記述量の関係上，本章のみでこれらの内容に習熟する のは難しいため, これらについて個別に学習が必要な読者は副読書を用意するのが望ましい.深層学習の要素技術（3７章） これらの章では，深層学習（ニューラルネットワーク）に基 づく自然言語処理の基本的なモデル構造の解説が行われている。各章の内容は単語ベクトル（3 章), RNN と CNN (4 章), 言語モデルと sequence-to-sequence モデル (5 章), Transformer (6 章), および事前学習と転移学習 ( 7 章) であり, 最近 10 年の自然言語処理の発展をほぼそのま ま振り返るような構成となっている。このような都合上，各章は前章までの内容を概ね踏まえ て発展させる形の解説となっており，初学者はこの順序のまま読み進めるのが望ましいと思わ れる。

## 章の取扱う内容

## 共通の語彙や概念の説明

線形モデル・ニューラルネットワーク

人手設計の素性関数 $\cdot$ Word2Vec $\cdot$ FastText

$\mathrm{RNN} \cdot \mathrm{LSTM} \cdot \mathrm{GRU} \cdot \mathrm{CNN}$

n-gram言語モデル・順方向NNLM・RNNLM $\cdot$ encoder-decoder $\cdot$ attention

Transformerの各種構成要素の解説・Transformerモデルの学習方法

GPT $\cdot$ BERT $\cdot$ BART

点予測・CRF

句構造解析 $\cdot$ 依存構造解析 $\cdot$ CKY法 $\cdot$ shift-reduce法 $\cdot$ 全域木法

含意関係認識・述語項構造解析 $\cdot$ CCG

機械翻訳・質問応答・対話システム・自然言語処理の歴史と展望

図 1 書籍『IT Text 自然言語処理の基礎』の構成
自然言語処理固有の要素技術（8～10 章） 自然言語処理の具体的な要素技術である系列ラべ リング ( 8 章), 構文解析 $(9$ 章), 意味解析 (10 章) について解説している. これらの章では一転して, 深層学習からはやや独立したタスク固有の解法やデータ構造について詳細に論じられ ている，他の章とは独立して参照することが可能である一方，論理学やアルゴリズムに関する 知識が別途要求される。これらの知識は深層学習と全く無関係というわけではなく, しばしば モデルの設計時に参考にされる場合があり，依然として学習する意義は高いと思われる．例え ば 8 章で紹介される点予測は事前学習モデルに結合する出力層として深層学習でも頻繁に用い られるが，本書でも述べられるように点予測には一般的な限界が存在する. こういった特徵を 知ることはモデルへの過剰な期待を抑制し，タスクに対して妥当な設計を採用する指針として 役立つ.

応用とまとめ（11 章） 最終章である 11 章は応用的なタスクとして機械翻訳・質問応答・対話 システムに言及し, この後に自然言語処理分野の歴史と展望に触れて本書のまとめとしている. 11 章で言及されるタスクは自然言語処理でも比較的大きな研究分野として知られるものである が，本書の全体からすると非常に僅かな分量の解説に留まっており，これらの分野を専門的に 学習する必要がある場合は副読書が必須である. ただし, 2014 年の sequence-to-sequence モデ ルの登場以来, 自然言語処理における深層学習の発展は主に言語モデルや機械翻訳におけるべ ンチマークを土台として発展してきた経緯があり，捉え方によっては本書自体が機械翻訳に関 する最新の解説書であると考えることも可能かもしれない.

## 3 本書の読者層

本書の対象読者で中心となるのは理工系大学院の修士課程程度, ないしそれに準ずる知識を 習得済みである者と思われ, 読者には基本的な数学的操作と情報学に明るいことが要求されて いる. 本書の大半を占める深層学習の解説では, 行列やべクトルに関する演算が特に断りなく 頻出する.このため本書でも述べられているとおり, 少なくとも読者は線形代数に習熟してい る必要がある。また前述のように, 特定の章では論理学やアルゴリズムに関する知識が要求さ れる。

俯瞰的な内容として本書がまとめられている関係上, 本書の内容のみで各分野の専門レベル まで横断的に学習できるようには構成されていない. 不明な点があれば躊躇せず副読書を用意 するのが望ましい，以下，読者を何種類かのカテゴリに分けて本書の想定される利用方法を述 べる.

専門家 読者が既に何らかの自然言語処理の専門家であれば，本書の内容はほぼ既知であると 思われる. 分野特有の語彙を他の研究者と共有したり，自身の関与していない領域について復習を行うのに本書は適している。読者の研究分野が本書で紹介されている場合は, 具体的な議
論を行う前の前提知識として本書の各章を参考文献として提示できると思われる.

技術者 数式での説明が豊富なため, 一定の計算資源と線形代数に関するプログラミングの経験があれば，本書で紹介されている基本的な手法を手元で試作してみる事は可能と思われる。 ただし，業務で直面するであろう具体的な問題の解き方やプログラミング例は本書では紹介さ れないため，こういった情報を希望する場合は，本書を踏まえた上で他の技術書を参照する必要がある。

学生・初学者 本書の内容は基本的な情報系科目に対する理解を読者に求めているため, これ らに詳しくない者が問題なく読み進めるには相応の予習が必要であると思われる．教科書とい う性質上，個別の概念や問題に関する詳細はある程度省略されており，また実際に研究・開発 を遂行するための指南書でもないため，具体的なタスクに取り組むには読者自身による更なる 調査と勉学が必要である. 本書によってこの分野の語彙を横断的に習得できるため, 他の研究者や学生と議論を行う際の土台として役立つと思われる.

自然言語処理が専門外の者 1 章, 3 章から 7 章, 11 章のような一般的な内容やニューラルネッ トワークに着目する章に関しては, 説明や図解等による大雑把な内容の把握もある程度有効で ある. 特に最近の研究動向に関しては十分に説明されているため, 身近の自然言語処理の専門家がどのような内容について議論しているのかを理解する手がかりとして, 本書を活用するこ とが可能と思われる。たたし，より平易な入門書や技術書と併読することで理解の助けとする のが望ましい.

## 4 本書の利用場面

本書は教科書として構成されているため, 学生や研究者, 従業員の集団に自然言語処理に関 する一定の知識を醸成するような取組みで採用するのが適している。大学学部や大学院での講義であれば，本書の内容 1 章をおおよそ 1,2 単元として授業を構成できる。読者に情報学の知識を要求するため, これらの学習が終了している理工系の 3,4 年次以降の科目とするのが適切 と思われる。研究室や企業の研究開発チームで輪講を行う際にも本書を活用できる。この際も 1 章あたり 1，2 回の速度で実施するのが適切と思われる。

前述したように，深層学習以後の自然言語処理の進展は非常に高速である一方，技術として は収斂が進みつつある。また本書では各論文固有のモデルについての言及は少なく, 汎用的な モデル構造を紹介する形となっている。これらの観点から, 本書の内容が直ちに陳腐化するこ とは避けられると考えられ，信頼できる教科書として長く使用できるのではないかと思われる。

## 謝 辞

本記事の執筆にあたり，言語処理学会より当該書籍を提供頂きました。ここにお礼申し上げ ます.

## 略歴

小田 悠介：情報通信研究機構, グーグル合同会社, 株式会社リーガルフォー スを経て, 現在米国 Inspired Cognition, Inc. CTO,および東北大学学術研究員. 自然言語処理関連の研究開発業務に従事. 専門は機械翻訳. 言語処理学会編集委員（2022 年 3 月 ). 修士（工学）（奈良先端大・2015 年）.


# 学生・若手研究者のための BERT ワークショップ

中山 功太 ${ }^{\dagger, \dagger \dagger}$ ・渋木 英潔 ${ }^{\dagger \dagger}$ ・関根 聡 $\dagger$

## 1 はじめに

近年，深層学習を用いた自然言語処理に多くの注目が集まっており，その成果が多く報告され ている。それに伴い，社会でも様々なシステムに深層学習を取り入れたいといった欲求が年々強くなっているように感じる. しかし, 深層学習のバックグラウンドには, プログラミングの 知識のみでなく, 線形代数や確率, 微分積分といった数学的知識が潜んでおり, これが初学者か ら敬遠されてしまう要因となっている。一方で，深層学習を取り巻く環境も年々変化しており， Pytorch $^{1}$ や TensorFlow ${ }^{2}$ といった深層学習の技術を容易に扱える Python ライブラリが整備され つつあるため，バックグラウンドを深く理解せずとも深層学習の実装を行うことが可能となつ てきている，当然バックグラウンドをしっかりと理解することに越したことはないが，実際に 一度タスクを解いてみることはその理解のために非常に重要であり，初学者の心的要因をいく らか軽減できると我々は考えている。 そのため, 我々は初学者へ向けたワークショップを行う 機会を設けることとし， 2022 年度には文章分類タスクと固有表現抽出タスクを対象としたワー クショップ行った。ワークショップはタスクごとに前編後編に分け計 4 回行っており, 分類夕 スクでは 381 人と 200 人, 固有表現抽出タスクでは 201 人と 99 人の参加登録があった. また,質疑応答に用いたチャットッールの参加人数は 349 人と非常に大盛況であった，我々はワーク ショップで使用した資料と当日の録画をホームページにて公開している3．本記事では実施した ワークショップの解説と報告を行う.

## 2 ワークショップについて

## 2.1 目的

本ワークショップには 2 つの目的がある，前者は，深層学習の更なる普及のため，初学者の 助け舟になるような機会を設けること。これは序章で述べた通りである。後者は，我々が主催
^{1}$ https://pytorch.org

2 https://www.tensorflow.org

3 http://shinra-project.info/bert_workshop_portal/
}

している森羅プロジェクト (Sekine et al. 2019) を広めることである. 本プロジェクトは「協働 による知識構築」を旗印に 2018 年に発足され, 参加者の力を借りて協働で Wikipedia の構造化 を行うといった評価型ワークショップを主催している。これまで Wikipediaの分類, 属性値抽出, 属性值リンキングといった 8 個のタスクが実施され, 国内外の多くの組織や企業が参加し ている。我々としてはこの機会が森羅プロジェクトやWikipediaの構造化に興味を持つきっか けとなればと考えている。

## 2.2 対象

本ワークショップの対象は, 深層学習を用いた自然言語処理に取り組みたい学生や研究者,社内システムに当技術を取り入れたい社会人である。空口を広げるため，自然言語処理に対す る事前知識を持たない参加者も想定した。より深く内容を理解するためには，プログラミング に関する基礎知識を保持していること，内積と微分をある程度理解していることが好ましいが，配布するスクリプトの要所要所にコメントを記し, 深層学習モデルの解説においてもなるべく 数式より図的説明に重点を置くことで，上記の条件を達成せずとも理解できるように務めた.

## 2.3 タスク

本ワークショップにおいて参加者が取り組むタスクを選定する上で以下の 4 点を考慮した.

・ 初学者でも取り組めるような簡単かつシンプルなタスクであること.

・ 計算コストが小さく深層学習モデルの学習が短時間で終わること.

・ 社会的に需要の高いタスクであること。

・森羅プロジェクトへの関心に繋がるタスクであること。

社会的に需要の高いタスクとして QA タスクや対話タスクも挙げられるが, 初学者にはハード ルが高いうえ，学習に時間を要する場合もあるため，今回はカテゴリー分類タスクと固有表現抽出タスクを扱うことした，配布スクリプトを書き換えることで，前者タスクは感情分類など のその他の分類タスクに，後者タスクは固有表現抽出だけでなく情報抽出といったタスク等に 応用が可能であるため, 非常に需要が高いと考えている.

カテゴリー分類タスク 本タスクでは，森羅プロジェクトでも扱っているWikipediaののテゴ リー分類に取り組む．参加者は入力としてWikipedia の記事が与えられ，“人名”や “地名”と いった拡張固有表現階層 (Sekine et al. 2002) で定義された約 200 件のカテゴリーへの分類を行 う．本タスクは 1 つの記事に対して 2 つ以上のカテゴリーが付与される場合があるためやや複雑であるが, 複数力テゴリーが付与される記事が全体の $1 \%$ 未満であることを加味し, これら記事を学習データから除外することで簡易化を図った 4 . 本タスクでは膨大な学習データが存在す

るが, 簡易化のため 5000 件の学習データと, 2000 件の評価データを配布した。評価関数には,森羅プロジェクトと同じマイクロ平均 $\mathrm{F} 1$ 値を採用している.

固有表現抽出タスク 本タスクでは, Wikipedia 記事に対する固有表現抽出に取り組む。デー タセットとして, “Wikipediaを用いた日本語の固有表現抽出データセット”(近江 2021) $)^{5}$ 用い る.日本語の固有表現抽出は, 前処理で分割された各単語に対して元の固有表現のスパンを割 り当てる必要があり実装がやや煩雑になってしまう，そのため, 配布するスクリプトに細かく コメントを付与することで，前処理部分が参加者の障害にならないよう務めた．本タスクとし ては解き方が複数あるが, 最も用いられており且つ実装が容易であるIOB2 夕グの分類形式で 解くこととした. 元のデータセットは学習データと評価データが分けられていないため, 我々 の手元で分割し参加者に配布した．評価関数には，一般的に用いられている固有表現スパンの 完全一致 F1 值を使用した.

## 2.4 深層学習モデル

対象を初学者としているため, 深層学習モデルの選択は非常に重要である。考慮した条件は 以下の通りである。

・社会的に関心の高いモデルであること.

・構造がシンプルであり実装時に扱いやすいモデルであること.

・高い性能を持つモデルであること.

文章生成や系列ラベリングなどに使用される LSTM や Transformer といった生成型のモデル もその性能が評価されているものの, 構造と実装がやや煩雑であるため今回は扱わず，今回の ワークショップでは構造の殆どが内積でシンプルに構成されており, 且つ扱いやすいモデルで ある BERT (Devlin et al. 2019) を対象とした. BERT は, 近年必須となっている事前学習とい う手法を取り入れており, その性能が評価されている。事前学習とは, Wikipedia やウェブテ キストなどの大規模コーパスを用いて深層学習モデルを学習し, 言語共通の大域的特徴を獲得 した後, 文書分類や固有表現抽出などの後続のタスクで再学習することで性能の向上を図る手法である。一般的に事前学習には膨大な計算コストや時間を要する場合が多いが, 近年は事前学習済みモデルのパラメータ公開が主流となっており, 日本語を含む様々な言語で利用可能と なっている。アメリカに本社を置く Hugging Face社は, これらの公開された事前学習済みモデ ルパラメータを収集し, 画一的に扱うことができる Transformers ${ }^{6}$ というライブラリを公開して おり，自然言語処理タスクへの転用がより容易になっている．本ライブラリの使い方を覚える ことは参加者にとって有益であると考えたため, 今ワークショップでも使用することとした.

## 2.5 実行環境

一般的に深層学習モデルの学習には高価なグラフィックボードを必要とする上, 環境構築に 専門性が求められるため, 初学者に実行環境の事前準備を要することは現実的ではない. その ため, 本ワークショップでは Google 社が提供している Colab7 というクラウドプラットフォーム を利用した， Colabでは，ブラウザ上から Google 社が提供する計算環境にアクセスでき，かつ 無料8でグラフィックボードを使用して計算を行うことが可能である。また, Colab は, Python のノートブック形式をサポートしており，マークダウンでコード中に説明を記載できるため実行しながら学ぶといった本ワークショップに最適である。実際にワークショップで使用したス クリプトの一部を図 1 に示す.

## 2.6 リーダーボード

参加者が各タスクに対して機械学習を適用しその性能を競い合うといった評価型コンペティ ションは近年多くの人が取り組んでいる。我々もコンペティション形式を踏襲することで楽し みながら学習できると考え, 深層学習モデルの予測結果の投稿を行うことでその評価値がランキ ング形式で掲載されるといったリーダーボードを用意し，参加者に投稿を促した．実際のリー

## 学習の流れ

1. データローダーから取り出されたバッチをモデルに入カし、モデル内部で誤差計算した上で誤差を返す。

2. 誤差逆伝播を行い各パラメーターの勾配を計算する。

3. オプティマイザーが勾配をもとにモデルのパラメーターを更新する。

4. スケジューラーによりオプティマイザーの学習率を下げる。

以上をデータローダーからバッチを一回り取り出すまで行う。

つまりデータセット内の全てのデータが1回ずつ学習に使用された状態である。

これを 1 エポックと呼ぶ。

1エポック終わった段階で、開発データを用いて評価を行う。

過去の評価値を上回っていた場合、その時のパラメーターを保存します。

学習は $E P O C H$ に指定した回数繰り返されます。

— import tqdm \# 進捗バーを出すためのパッヶージ

if DO_TRAIN: \# 学習を行う場合

best_score $=$ None

for epoch in tqdm. notebook.tqdm(range(EPOCH), desc="Epoch"): \# EPOCH回繰り返す model.train() \# モデルを学習モードにする

for batch in tqdm.notebook.tqdm(train_dataloader, desc="Training")：\# 学習用データローダーからバッチを取り出す

outputs, loss $=$ modell

input_ids=batch["input_ids"].to(DEVICE)，\# to(DEVICE)で入力をGPUに送信する

token_type_ids=batch ["token_type_ids"]. to(DEVICE),

attention_mask=batch ["attention_mask"]. to(DEVICE),

labels=batch ["labels"]. to(DEVICE),

) \# モデルの予測結果と、モデル内部で計算された誤差を得る

図 1 実際にワークショップで使用したスクリプトの一部

 \\

図 2 分類タスクリーダーボードの一部

ダーボードを図 2 に示す 9 .より多くの投稿を促すため, 配布しているスクリプトでは, リー ダーボードへの投稿形式の変換を行いファイルに出力するところまで実装している.

## 2.7 その他

ワークショップを行うにあたり，その他工夫したことを以下に示す.

動画公開 実施後にワークショップの録画を公開することで，ワークショップの内容を再度振 り返りながら学習できるようにした.

トライアル期間 ワークショップを前編と後編に分け，その間に 1 週間から 1 ヶ月程度のトラ イアル期間を設けた，前編では一通りの解説を行っている．トライアル期間中, 参加者は動画等で内容を振り返り, 後編で再度質問することができるため, 自分のペースで内容を理解する ことができる．また，期間中にモデルを改良し結果をリーダーボードに投稿することで他の参加者と競い合うことができるため, 参加者の学習意欲向上に繋がる. 加えて後編に改良内容を 報告する機会を設けることで，発表者のモチベーションを高め，その他参加者に対しては更な る学習の機会を増やすことができる.

チャットツールによる補助ワークショップ中やトライアル期間中はチャットツール 10 におい て常時質問を受け付けており，前編と後編の間で参加者がドロップアウトすることがないよう にサポートを行った。

## 3 実施後報告

## 3.1 参加状況

前章で述べた通り, 本ワークショップは各タスクごとに前編後編の 2 回, 計 4 回実施したが,分類タスクでは 381 人と 200 人, 固有表現抽出タスクでは 201 人と 99 人の参加登録があった.

ワークショップ中の実際の参加人数は正確に記録していないが，登録者のうち 8,9 割近くが参加していたようである。これはワークショップの間口を広げた成果であり，また，初学者向け ワークショップの需要を示すものである．特に後編のモデル改良報告では社会人の方の発表が 多く, 社会における深層学習への関心の高さが窺えた。

## 3.2 リーダーボード

リーダーボードに対しては，分類タスクでは 50 人以上，固有表現抽出タスクでは 11 人の投稿があった. 固有表現抽出タスクの投稿人数が少ないが，本タスクは分類タスクの後に実施さ れたため，多くの参加者が分類タスクへの投稿で満足した結果であると思われる。それぞれの タスクで 6,7 割以上の参加者が，配布した実装の評価値を超えており，リーダーボードにより 参加者の自発的な学習を促すことができていたと考えられる.

## 3.3 参加者アンケート

参加者に任意でアンケートをお願いしたところ，ワークショップ全体で 93 件の回答が得ら れた. ワークショップの説明の分かりやすさを 5 段階で評価する項目では, 1 及び 2 が全体の $0 \%, 3$ が $11 \%, 4$ が $46 \%, 5$ が $43 \%$ であった．全体の $89 \%$ が 4 以上を付けており，殆どの方に 内容を理解いたたくことができた。自由記述欄も設けており，「無料なのがおかしいぐらい質の 高いワークショップだったと思います。」「BERT のコンポーネントの説明やコードの説明が詳 しく説明されていて、とても分かりやすかったです。」等の好評を多く頂いた．また，「スライ ドは見やすかったのですが、難しすぎる上にコーディングでは線形変換など説明されている殆 どがライブラリ化されていて動きが見えないのが残念でした。」といったご指摘を頂いた．今回 のワークショップは，深層学習のバックグラウンドを完全に理解せずとも一度動かしてみるこ とで参加者の学習意欲を育むことを目的としていたため，やや煩雑である Transformer ライブ ラリの中身については言及していなかった。更に一歩踏み込んだ内容に対して興味を持ってい ただくことが出来たと考え，要望があればライブラリの中身を展開しながらコードから BERT を読み解くワークショップを別途設けようと考えている。森羅プロジェクトに対しての興味を 問う項目では， 2 割程度が興味を示す回答をしており，実際に 5 人の方が今回を機に新たに森羅プロジェクトに参加した。これは我々側の目的が達成されたことを示している。

## 4 おわりに

今回のワークショップは，参加者側は最先端の技術を身につけることを目的とし，主催者側 は特定の研究テーマに対して社会の注目を集めることを目的にしたものであった. 実施後に行 われたアンケート結果等により双方の需要が達成されたことが示された。深層学習の発展によ

り様々な技術が考案されているが, これら技術の社会実装を進めるための新たな橋渡しとして 今回の様なワークショップは非常に有用であると言える。我々は今後とも森羅プロジェクトの 普及を掲げ，様々なワークショップを主催していきたいと考えている．また，今回の様なワー クショップが分野を超えて広く普及していくことを願う.

## 謝 辞

“Wikipediaを用いた日本語の固有表現抽出データセット”のワークショップでの利用につい て快諾いたたいたストックマーク株式会社の近江崇宏様に深く感謝します.

## 参考文献

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

近江崇宏 (2021). Wikipedia を用いた日本語の固有表現抽出のデータセットの構築. 言語処理学会第 27 回年次大会発表論文集, pp. 350-352. [T. Omi et al. (2021). Wikipedia wo Mochiita Nihongo no Koyuhyogen Chushutsu no Deta Setto no Kochiku. The 27th Annual Meeting of the Association for Natural Language Processing, pp. 350-352.].

Sekine, S., Kobayashi, A., and Nakayama, K. (2019). "SHINRA: Structuring Wikipedia by Collaborative Contribution." In Automated Knowledge Base Construction (AKBC).

Sekine, S., Sudo, K., and Nobata, C. (2002). "Extended Named Entity Hierarchy." In Proceedings of the 3rd International Conference on Language Resources and Evaluation (LREC'02), Las Palmas, Canary Islands - Spain. European Language Resources Association (ELRA).

## 略歴

中山 功太：理化学研究所革新知能統合研究センター・言語情報アクセスチー

ムリサーチアソシエイト, 筑波大学システム情報工学研究群博士課程に在学中. 2020 年豊橋技術科学大学情報・知能工学系修士号. 専門は深層学習, 自然言語処理. 特にアンサンブル学習, 固有表現抽出, 情報抽出の研究に従事.

渋木 英潔：2002 年北海道大学大学院工学研究科電子情報工学専攻博士後期課程了. 博士 (工学). 2006 年北海学園大学大学院経営学研究科経営学専攻博士
後期課程了. 博士 (経営学). 横浜国立大学環境情報研究院産学連携研究員,国立情報学研究所特任研究員などを経て, 現在,（株）BESNA 研究所研究部主任研究員. 自然言語処理に関する研究に従事. 言語処理学会, 情報処理学会各会員.

関根 聡：理化学研究所革新知能統合研究センター・言語情報アクセスチーム チームリーダー, 1992 年英国マンチェスター大学計算言語学部修士号. 1998 年ニューヨーク大学コンピューターサイエンス学部博士号. その後, ニュー ヨーク大学研究准教授に就任. 松下電業産業株式会社（現パナソニック）, 楽天技術研究所ニューヨークなどでの研究職を歴任. 専門は自然言語処理. 特 に情報抽出, 固有表現抽出, 知識構築の研究に従事.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 人工知能学会言語・音声理解と対話処理研究会主催「対話システムシンポジウム」

徳久 良子†

## 1 はじめに

人工知能学会言語・音声理解と対話処理 (SLUD) 研究会では, 2010 年から「対話システムシ ンポジウム」を開催している。本シンポジウムは，年 3 回の SLUD 研究会のうちの 1 回を，対話システムに関する研究を集めて開催するもので，今年で 13 回目となる。この記事は, (1) 対話システムシンポジウムにまだ参加したことがない方に向けて本シンポジウムを知っていたた くことと, (2) 今年の対話シンポジウムの発表内容を通じて自然言語処理に携わるみなさんに対話システム研究に関するトレンドを知っていただくことを目的として書いていきたい.

## 2 第 13 回対話システムシンポジウムについて

## 2.1 概要

今年の対話システムシンポジウムは, 2022 年 12 月 13 日（火）と 14 日（水）に国立国語研究所で行われた（図 1)。ポスターセッション以外はオンラインでも配信し, 対話システムシンポ ジウムとしては初めてのハイブリッド開催となった。参加者数は，現地参加 118 名（1日目 105

図 1 会場の様子. 写真左は招待講演の様子. 写真右は (李, 石黒 2022)の発表から引用.

名, 2 日目 +13 名), オンラインでの最大同時視聴者数 121 名で, 合計 239 名であった. 発表件数は, 一般口頭発表 8 件, 一般ポスター発表 24 件, インダストリーセッション 9 件, 招待講演 1 件, 国際会議報告 4 件, ライブコンぺ口頭発表 7 件であった.

一般口頭発表： 一般口頭発表では，例年，対話システムのデモ動画やデータの収録風景の音声など，音声や動画を用いた発表が多くみられる，今年は，CGエージェントやアバターのキャ ラクタ表現に関する研究など, マルチモーダル対話に関する発表も目立った (李, 石黒 2022 ; 山本 他 2022). また，高齢者の認知トレーニングに関する研究や，医療面接に関する研究など，応用を意識した発表も多かった (徳永 他 2022; 黒田，荒木 2022).

一般ポスター発表：一般ポスター発表では, これから結果が出る萌芽的な研究から, 応用を 意識したデモ指向の強い研究まで, 幅広い研究が発表される。 3 年ぶりの現地開催で, 構築し た対話システムのデモなど対話システムシンポジウムならではの光景が見られた（図 2）.

インダストリーセッション：インダストリーセッションは，対話システムに関する技術や製品を紹介するセッションである。一般発表とは異なり，学術的な完成度・新規性にこだわらず，技術的な取り組みが紹介される。ポスター形式で実施され，対話システムのデモが多く発表さ れた（図 3 ).

招待講演：LINE の佐藤敏紀先生から「日本語の基盤モデルを用いた対話システムの実装とそ の課題」というタイトルでご講演いただいた ${ }^{1}$. LINEで構築している対話の基盤プラットフォー

図 2 ポスター発表の様子。ポスター発表では萌芽的な研究発表も歓迎される.

図 3 インダストリーセッションのデモの様子，写真左は (金盛 他 2022), 中央は (大須賀他 2022), 右は それぞれ (沢田 他 2022)(小磯 他 2022)(安田 2022) の発表の様子.

ムの紹介や, 昨年度のライブコンペティションで優勝した対話システムに関する話があった。現状技術では，対話システムは大規模なモデルがあればいいというわけではなく，モデルに対 する入出力をいかに工夫するかでシステム全体の性能が変わるという話が印象的だった.

国際会議報告： 国際会議報告では対話システムに関する 4 件の国際会議について紹介があつ

響で国際会議はオンラインで開催されていたが，今年は現地開催された会議も多く，現地での 研究者同士の交流の様子も併せて紹介された.
- SIGDIAL/YRRSDS: 大橋厚元さん (名古屋大学)
- ICMI: 岡田将吾さん（北陸先端大）
- INTERSPEECH: 河野誠也さん (理化学研究所)
- COLING: 岸波洋介さん (東北大学)

## 2.2 対話システムライブコンペティション

対話システムライブコンペティション（ライブコンペ) ${ }^{3}$ は，聴衆の前で対話システムを動作 させ評価を行うイベントで，過去 5 年間，対話システムシンポジウムの特別セッションとして 開催されている（図 4). 昨年まではテキストチャットによるコンペだったが，今年は初めてマ ルチモーダル対話でのコンぺとなった.「オープントラック」と「シチュエーショントラック」 の 2 つのトラックが用意され ${ }^{4}, 2022$ 年 10 月に行われた予選を通過した上位 3 チームが対話シ ステムシンポジウム当日の本戦に出場し, 以下の要領で順位が決定した.

・ 運営側が COI のない話者を選出し, くじ引きで対話するシステムを決定.
- 聴衆の前で対話システムと話者が対話（図 4 の左と中央).

図 4 ライブコンペの様子 (写真左と中央)。上位チームからはシステムについて口頭発表もある (写真右).

・ 聴衆が対話システムを評価じ，順位を決定する。

聴衆による評価の結果, 順位は下記の通りとなった。

オープントラック

1 位 LINE NLP (山崎 他 2022)

2 位 TohokuNLP (守屋 他 2022)

3 位 ToastedMarshmallow (金崎他 2022)

シチュエーショントラック

1 位 LINE NLP (吉川 他 2022)

2 位 FCL (白井 2022)

3 位 YuruKuma (大野他 2022)

## 2.3 若手のための表彰制度

対話システムシンポジウムでは, 若手研究者への研究発表の奨励のため, 若手 (2022 年 4 月 1 日時点で 30 歳未満）による優秀な発表には若手優秀賞を, 独創性・将来性がみられる発表には 若手萌芽賞を授与している。今年は 21 件の発表が表彰選考対象となり, 下記の 4 件が受賞した.

若手優秀賞 6
- 岩橋 千穂さん (岩橋, 稲葉 2022 )
- 高崎 環さん (高崎 他 2022)

## 若手萌芽賞 7
- 稲積 駿さん (稲積 他 2022 )
- 田中 義規さん (田中, 稲葉 2022)

対話システムシンポジウムは，対話システムに携わる研究者が一堂に会するため，さまざま な視点から研究に対する有益なコメントがもらえるのも魅力のひとつである. 本シンポジウム で発表した後にさらに研究を発展させた形でSIGDIAL やACL などの国際会議で発表した例も 少なくない．国際会議にチャレンジする前段階の発表の場としてもぜひ活用してほしい.

## 3 対話システムシンポジウムの成り立ちと今後について

対話システムはテキストチヤットシステムから対話ロボットまでさまざまな形態があり，ま たさまざまな要素技術を統合したシステムであるため, その発表は多様な分野に分散していた.

図 5 過去 10 年間の発表件数の推移.

表 1 過去 5 年間の参加者数と開催形式. オンラインの参加者数は最大同時視聴者数を表す.

そこで，それらが一堂に会する機会を設けることで，今までの研究会の枠にとらわれない議論 をしたり，国内の対話システム研究を概観できることを狙って，2010 年に「対話システムシン ポジウム」が始まった. 発表件数の推移を図 5 に, 参加者数と開催形式を表 1 に示す.

2010 年に対話システムシンポジウムが始まった当時は, 今ほどの AI ブームではなかったが, その後, 2013 年に Word2Vec (Mikolov et al. 2013a, 2013b), 2019 年に BERT (Devlin et al. 2019) が発表され，自然言語処理の研究は大きく前進した. 同時に対話研究も大きく発展し, ここ数年で Transformer ベースの高性能なモデルも多数公開されるようになった (Zhang et al. 2020; Roller et al. 2021). また, 今回の対話システムシンポジウムでも発表があったように, アンド ロイドやアバターに関する研究開発も盛んに行われている (李, 石黒 2022 ; 大須賀他 2022; 金盛他 2022; 伊島, 田中 2022).

今回の対話システムシンポジウムは，「知性と感情を持ったエージェントが我々の生活の中で 役に立つ日もそう遠くないかもしれない」とあらためて感じさせられる会であった. 対話シス テムシンポジウム実行委員としては，対話研究者同士のつながりを生み出したり，技術発展の 下支えをできるよう，これからも世の中の動向や技術を睨みながら企画・運営していきたい.

## 謝 辞

まず，会場やオンライン配信に関する環境を整えてくださった国立国語研究所の小磯花絵氏

をはじめ，会場設営や受付に携わって下さった国立国語研究所の方々に深く感謝したい。また， SLUD 研究会主査の中野幹生氏，対話システムシンポジウム実行委員（藤江真也実行委員長，川端良子氏，稲葉通将氏，井上昂治氏，岡田将吾氏，熊野史朗氏，小林優佳氏，駒谷和範氏，杉山弘晃氏，成松宏美氏，東中竜一郎氏，船越孝太郎氏，松山洋一氏，吉野幸一郎氏)，およびライ ブコンぺ専任委員（高橋哲朗氏，宇佐美まゆみ氏，西川寛之氏，小室允人氏，佐藤志貴氏，堀内颯太氏，港隆史氏，境くりま氏，船山智氏）に深く感謝する，最後に，このような紹介の場 をくださった「自然言語処理」編集委員長の内山将夫氏に深謝したい.

## 参考文献

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

伊島翔大，田中昂志 (2022).ソーシャルデータを活用した「サポートチャットボット」の紹介とアバター型音声対話システムの開発. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, 96, p. 37. [S. Ijima and K. Tanaka (2022). Sosharudeta wo Katsuyo shita "Sapoto Chatto Botto" no Shokai to Abata-gata Onsei Taiwa Shisutemu no Kaihatsu. JSAI Technical Report, SIG-SLUD, 96, p. 37.].

稲積駿, 河野誠也, 湯口彰重, 川西康友, 吉野幸一郎 (2022). 視線情報付き視覚的質問応答デー タセットの構築. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, 96, p. 13. [S. Inazumi et al. (2022). Shisen Joho tsuki Shikakuteki Shitsumon Oto Detasetto no Kochiku. JSAI Technical Report, SIG-SLUD, 96, p. 13.].

岩橋千穂, 稲葉通将 (2022). マルチソース学習を用いた対話形式コンテンツの自動生成. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, 96, p. 10. [C. Iwahashi and M. Inaba (2022). Maruchi Sosu Gakushu wo Mochiita Taiwa Keishiki Kontentsu no Jidoseisei. JSAI Technical Report, SIG-SLUD, 96, p. 10.].

金盛克俊, 村松直矢, 森田拓磨 (2022). バディを目指す対話ロボット poiq. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, 96, p. 35. [K. Kanamori et al. (2022). Badi wo Mezasu Taiwa Robotto poiq. JSAI Technical Report, SIG-SLUD, 96, p. 35.].

金崎翔大，渡邊寛大，河野誠也，湯口彰重，桂井麻里衣，吉野幸一郎 (2022). 対話行為予測と工 ントレインメント予測に基づいたマルチモーダル対話システム. 人工知能学会研究会資料言語・音声理解と対話処理研究会, 96, p. 20. [S. Kanezaki et al. (2022). Taiwa Koi Yosoku
to Entoreimmento Yosoku ni Motozuita Maruchimodaru Taiwa Shisutemu. JSAI Technical Report, SIG-SLUD, 96, p. 20.].

小磯花絵, 曰田泰如, 川端良子 (2022).『日本語日常会話コーパス』(Corpus of Everyday Japanese Conversation, CEJC). 人工知能学会研究会資料 言語・音声理解と対話処理研究会, 96, p. 31. [H. Koiso et al. (2022). Corpus of Everyday Japanese Conversation, CEJC. JSAI Technical Report, SIG-SLUD, 96, p. 31.].

黒田佑哉, 荒木雅弘 (2022). 医療面接シミュレータにおける医者役の質問内容の識別. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, 96, p. 01. [Y. Kuroda and M. Araki (2022). Iryo Mensetsu Shimyureta ni okeru Ishayaku no Shitsumon Naiyo no Shikibetsu. JSAI Technical Report, SIG-SLUD, 96, p. 01.].

李晃伸, 石黒浩 (2022). 自律・遠隔融合対話システムのための高生命感・高存在感 CG エージェ ントの開発. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, 96, p. 27. [A. Lee et al. (2022). Jiritsu $\cdot$ Enkaku Yugo Taiwa Shisutemu notameno Koseimeikan $\cdot$ Kosonzaikan CG Ejento no Kaihatsu. JSAI Technical Report, SIG-SLUD, 96, p. 27.].

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013a). "Efficient Estimation of Word Representations in Vector Space." arXiv preprint arXiv:1301.3781.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G., and Dean, J. (2013b). "Distributed Representations of Words and Phrases and Their Compositionality." In Proceedings of the 26th International Conference on Neural Information Processing Systems - Volume 2 (NIPS'13), pp. 3111-3119, Red Hook, NY, USA. Curran Associates Inc.

守屋彰二, 塩野大輝, 岸波洋介, 藤原吏生, 木村昂, 松本悠太, 曾根周作, 赤間怜奈, 鈴木潤, 乾健太郎 (2022). aoba_v3 bot: 多様な応答生成モデルとルールベースを統合したマルチモーダ ル雑談対話システム. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, 96, p. 21. [S. Moriya et al. (2022). aoba v3 bot: Tayo na Otoseisei Moderu to Rurubesu wo Togo Shita Maruchimodaru Zatsudan Taiwa Shisutemu. JSAI Technical Report, SIG-SLUD, 96, p. 21.].大野瞬, 石井均, 木原諒子, 片上大輔, 酒造正樹, 前田英作 (2022). 即効性のある代替案の提供で友人に謝罪を行うマルチモーダル対話エージェント．人工知能学会研究会資料 言語・音声理解と対話処理研究会, 96, p. 23. [S. Oono et al. (2022). Sokkosei no Aru Daitaian no Teikyo de Yujin ni Shazai wo Okonau Maruchimodaru Taiwa Ejento. JSAI Technical Report, SIG-SLUD, 96, p. 23.].

大須賀晋, 田中五大, 鍋倉彩那, 中野涼太, 渡邊凌太, 石川友香, 石川晃之, 中村晃一, 藤井裕也,堀内颯太, 東中竜一郎, 西村良太, 太田健吾, 北岡教英 (2022). “EMOtive A.I. “Saya"." 人工知能学会研究会資料 言語・音声理解と対話処理研究会, 96, p. 33. [S. Osuga et al. (2022). EMOtive A.I. "Saya". JSAI Technical Report, SIG-SLUD, 96, p. 33.].

Roller, S., Dinan, E., Goyal, N., Ju, D., Williamson, M., Liu, Y., Xu, J., Ott, M., Smith, E. M., Boureau, Y.-L., and Weston, J. (2021). "Recipes for Building an Open-Domain Chatbot." In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 300-325, Online. Association for Computational Linguistics.

沢田慶, シーン誠, 趙天雨 (2022). 日本語における AI の民主化を目指した事前学習モデルの公開. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, 96, p. 32. [K. Sawada et al. (2022). Nihongo niokeru AI no Minshuka wo Mezashita Jizen Gakushu Moderu no Kokai. JSAI Technical Report, SIG-SLUD, 96, p. 32.].

白井宏美 (2022). 謝罪場面に適した人らしいマルチモーダル対話システムの実現に向けて. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, 96, p. 25. [H. Shirai (2022). Shazai Bamen ni Tekishita Hitorashii Maruchimodaru Taiwa Shisutemu no Jitsugen ni Mukete. JSAI Technical Report, SIG-SLUD, 96, p. 25.].

高崎環, 吉永直樹, 豊田正史 (2022). 長期間の過去文脈を効果的に活用した雑談対話システ 么. 人工知能学会研究会資料 言語 - 音声理解と対話処理研究会, 96, p. 16. [M. Takasaki et al. (2022). Chojikan no Kakobummyaku wo Kokateki ni Katsuyo shita Zatsudan Taiwa Shisutemu. JSAI Technical Report, SIG-SLUD, 96, p. 16.].

田中義規, 稲葉通将 (2022). ユーザレビュー作成支援のためのインタビュー対話システムの 構築. 人工知能学会研究会資料 言語 - 音声理解と対話処理研究会, 96, p. 46. [Y. Tanaka et al. (2022). Yuza Rebyu Sakusei notameno Intabyu Taiwa Shisutemu no Kochiku. JSAI Technical Report, SIG-SLUD, 96, p. 46.].

徳永清輝, 田村和弘, 大武美保子 (2022). 高齢者のための対話システムのトレーニング・アンケー 卜機能拡張および予備的評価:在宅認知機能訓練に向けて. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, 96, p. 28. [S. Tokunaga et al. (2022). Koreisha no Tameno Taiwa Shisutemu no Toreningu $\cdot$ Anketo Kino Kakucho Oyobi Yobiteki Hyoka: Zaitaku Ninchikino Kunren ni Mukete. JSAI Technical Report, SIG-SLUD, 96, p. 28.].

山本賢太, 井上昂治, 河原達也 (2022). 音声対話システムによる雑談対話におけるキャラクタ表現 に基づくユーザ適応の検討. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, 96, p. 29. [K. Yamamoto et al. (2022). Onsei Taiwa Shisutemu niyoru Zatsudan Taiwa niokeru Kyarakuta Hyogen ni Motozuku Yuza Tekio no Kento. JSAI Technical Report, SIG-SLUD, 96, p. 29.].

山崎天, 川本稔已, 大萩雅也, 水本智也, 小林滉河, 吉川克正, 佐藤敏紀 (2022). HyperCLOVA を用いた音声雑談対話システム. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, 96, p. 22. [T. Yamazaki et al. (2022). HyperCLOVA wo Mochiita Onsei Zatsudan Taiwa

Shisutemu. JSAI Technical Report, SIG-SLUD, 96, p. 22.].

安田晴彦 (2022). まるでそこにいる人と話をしているような、新しい感動対話体験A I 映像対話システム「Talk With」. 人工知能学会研究会資料 言語・音声理解と対話処理研究会,

96, p. 30. [H. Yasuhiko et al. (2022). Marude Soko ni Iru Hito to Hanashi wo Shiteiru Yo na, Atarashii Kando Taiwa Taiken AI Eizo Taiwa Shisutemu "Talk With". JSAI Technical Report, SIG-SLUD, 96, p. 30.].

吉川克正, 川本稔己, 山崎天, 水本智也, 小林滉河, 大萩雅也, 佐藤敏紀 (2022). シチュエー ションに合わせたシナリオ誘導と HyperCLOVA を利用した応答生成によるハイブリッド 対話システム. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, 96, p. 24. [K. Yoshikawa et al. (2022). Shichueshon ni Awaseta Shinario Yudo to HyperCLOVA wo Riyo shita Otoseisei niyoru Haiburiddo Taiwa Shisutemu. JSAI Technical Report, SIG-SLUD, 96, p. 24.].

Zhang, Y., Sun, S., Galley, M., Chen, Y.-C., Brockett, C., Gao, X., Gao, J., Liu, J., and Dolan, B. (2020). "DIALOGPT : Large-Scale Generative Pre-training for Conversational Response Generation." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 270-278, Online. Association for Computational Linguistics.

## 略歴

徳久 良子：2001 年九州工業大学大学院情報科学専攻修士課程修了. 同年 (株)豊田中央研究所入社. 2009 年奈良先端科学技術大学院大学情報工学研究科博士課程修了. 2020 年より言語処理学会理事. 2021 年よりクロスアポイントメ ントで東北大学准教授. 感情や音声対話に関する研究に従事. 博士 (工学).人工知能学会, 言語処理学会, 情報処理学会各会員.


# 解説: Factual Accuracy is not Enough: Planning Consistent Description Order for Radiology Report Generation

西埜徹

## 1 はじめに

本解説記事では，著者らが EMNLP2022 で発表した論文 “Factual Accuracy is not Enough: Planning Consistent Description Order for Radiology Report Generation" について, 研究の背景や経緯を踏まえつつ解説する。

## 2 論文の概要

本研究は単純 X 線画像や CT 画像などの医用画像を入力し, 自動で画像の特徴を説明する文章を生成する「読影レポート自動生成」の研究である。読影レポートとは, 医師が検査画像中 の異常所見を目視で確認し, 異常部や正常部などの詳細を文章で表現したものである．読影レ ポートは検査異常の情報を伝達する重要な手段であるが人手作成の負担が高く, 読影レポート 生成は近年広く研究されている (Jing et al. 2018). しかし, 先行研究の大半が単純 X 線検査を 対象とした研究であり，CT や MRI など他の読影検查への適用可能性については手つかずで あった. また, ここ最近の読影レポート生成における共通課題は生成文書の内容適切性の改善

図 1 単純 $\mathrm{X}$ 線検査と造影 $\mathrm{CT}$ 検査のレポートの比較.

図 2 プランニング読影レポート生成の概要.

である. 医療分野において正しく検査画像中の所見を含んだレポートの生成は極めて重要であ り，内容の一致度に基づく報酬を導入した強化学習 (Miura et al. 2021) や，読影知識を反映し たグラフを活用した適切性改善 (Zhang et al. 2020) などの研究が盛んに行われている。しかし,読影レポート生成において適切性以外の課題に着目した研究はあまり行われていない. CT な ど単純 X 線検査以外へ読影レポート生成技術を応用する際，適切性以外の別の課題が存在する のではないか, という問題意識が本研究の着想の背景である.

本論文では，レポート生成の対象を単純 X 線検査だけでなく肝臓の CT 検査へ拡大した上 で，読影レポートの内容の適切性の改善に限らず記述順をも改善する手法を提案した．肝臟が んの検査を含む多くの CT 検査では 造影 CT 検査が実施されている。単純 $\mathrm{X}$ 線検査では撮影回数は 1 回きりである一方，造影 CT 検査では造影剤を飲んだ状態で複数回連続して撮影し，異常箇所の写り方の時系列順の変遷を確認する。この撮影タイミングを 時相 と呼ぶ. 図 1 に 例示されるように，造影 CT では異常箇所の変遷をレポートに記載する．故に，欧州放射線学会 (European Society of Radiology (ESR) 2011) が推奨する通り，ただ正しい情報を書くだけに 限らず正しい記述順でのレポート文章の作成が重要となる。読影レポート生成技術の応用範囲 を単純 X 線検査から広げるには造影 CT などへの対応が必須と考え, 適切性に加え記述順の改善を本研究の目的とした。

## 3 提案手法概要

一般に読影レポート生成の研究では画像から直接レポートを生成する End-to-End 文章生成のアプローチが取られている。本研究では検査画像からまず “腫瘤:あり”や“濃染. 増大” な どの性状タグを抽出し，その後性状タグからレポートを生成する Data-to-Text 文章生成の手法を採用した。加えて中間表現となる性状タグをレポートでの文章の記述順を表現したプラン として扱うプランニング文章生成 (Ma et al. 2019) の手法を取った. プランニング生成手法の概略を図 2 に示す.プランは文章の記述内容と記述順を設計したものであり，プランを設計する 文章計画器, 設計されたプランに基づき文章を生成する文章生成器の 2 段階を踏まえ入力情報 から文章を生成する。先行研究では Data-to-Text 文章生成で問題とされてきた Hallucination (幻覚)，つまり誤った不適切な記述が生成されてしまう問題が緩和され, 適切性が改善したと 報告されている (Moryossef et al. 2019). 中間表現で適切な記述順・内容を表現したプランを作成することにより，生成文章における適切性・記述順の改善が見达まれる.

しかしプランニング文章生成には, 前段のモデルのエラーが後段に伝搬するエラー伝搬の課題が報告されている (Shen et al. 2020). 前段にあたる文章計画器で誤った推論がなされると,当然後段の文章生成器も誤った文章を生成するのである。このエラー伝搬問題への対処として 本研究では Coordinated Planning-based text generation (CoPlan) を提案した. CoPlan

図 3 提案手法 Coordinated Planning-based text generation (CoPlan) の概要.

の手法概要を図 3 に示す. CoPlan は最終的に生成される文章の適切性ないしは記述順を評価 し，より質の高い文が生成されるよう前段のモデルへとフィードバックする機構である. CoPlan は 2 の並列する手法から構成される。

CoPlan in Reinforcement Learning (CoPlan (RL)) 文章計画器の学習時において, 最終的に生成されるレポートの品質を報酬として強化学習を行う手法である. エラー伝搬問題の最大の要因は, 文章計画器と文章生成器とで独立して学習が行われる点にある。そこで CoPlan (RL) では最終的に出力される文章の品質を文章評価器で定量化し, この定量化されたスコアを 1 段目の文章計画器を強化学習する報酬として活用する。最終出力文章の品質を報酬として利用することで文章計画器の学習時に文章生成の品質を考慮できるため, エラー伝搬問題の影響 を緩和できる。

CoPlan in Beam Search (CoPlan (BS)) 文章計画器の推論時において, 最終的に生成され るレポートの品質をスコアとしてプランの探索・選択を行う手法である. CoPlan (BS) は最終的に出力される文章の品質を文章評価器で定量化し, この定量化されたスコアを 1 段目の文章計画器の推論時にビームサーチのスコアに加える手法である。最終出力結果を基に推論時の 1 段目のエラーを推定し，エラーの少ないプランの選択により生成されるプランの質を改善できる.

## 4 評価実験

本研究では日本語造影 CT レポートおよび英語単純 X 線レポート (Johnson et al. 2019) の 2

データセットにおいて, Data-to-Text 文章生成部分だけの性能評価および画像からレポートを 生成するモデル全体の End-to-End の性能評価実験を実施した。提案手法 CoPlan の実効性は Data-to-Text 文章生成部分だけを日本語レポートで評価するだけでも示すことができる. だが， ほぼ全ての先行研究は英語単純 $\mathrm{X}$ 線レポートで実施されており, 先行研究に対する優位性や提案手法の汎用性を示すには複数モダリティでの評価および既存手法との比較が必要と考え, こ のように 2 つのデータセットでの End-to-End 評価実験を追加で実施した。加えて本研究では 読影レポート生成でよく用いられる評価指標である BLEU や BERTScore (Zhang et al. 2019), CheXpert (Irvin et al. 2019) ベースの適切性評価指標に加え，記述順評価指標である Content Ordering score (CO) (Wiseman et al. 2017) を生成レポートの記述順に関する品質改善の検証に 導入している．加えてより信頼できる実験結果の検証のために人手評価を実施した。

Data-to-Text 実験の結果では, CoPlan (BS) およびCoPlan (RL) それぞれの有効性を示して いる. 加えて先行研究との比較である End-to-End 実験の結果では, BLEU4 では他手法に比べ 劣るが適切性および記述順の改善が示されている．実験設定および実験結果については原論文 を参照していただきたい.

## 5 終わりに

本稿では EMNLP2022に採択された著者の論文について，着想の背景に重点をおいて解説し た. 本論文は自然言語処理分野で近年注目されている読影レポート自動生成の研究の実際の医療現場への適用を見据えた研究であり, 記述順という実用化に向け課題となった新たな切り口 を主眼においた論文である。今後は医療現場の声やデータから課題を掘り起こしつつ, さらな る実応用を目指していきたい.

## 謝 辞

本研究にあたり数多の助言を頂きました共著者，関係者の皆様に感謝申し上げます。また日本語データセットの提供に協力くださった共同研究先病院の皆様，およびデータセットの整備 に尽力されたアノテータの皆様にも改めて感謝申し上げます.

## 参考文献

European Society of Radiology (ESR) (2011). "Good Practice for Radiological Reporting. Guidelines from the European Society of Radiology (ESR)." Insights into Imaging, 2, pp. 93-96.

Irvin, J., Rajpurkar, P., Ko, M., Yu, Y., Ciurea-Ilcus, S., Chute, C., Marklund, H., Haghgoo, B., Ball, R., Shpanskaya, K., et al. (2019). "CheXpert: A Large Chest Radiograph Dataset with Uncertainty Labels and Expert Comparison." In 33rd AAAI Conference on Artificial Intelligence.

Jing, B., Xie, P., and Xing, E. (2018). "On the Automatic Generation of Medical Imaging Reports." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers).

Johnson, A. E., Pollard, T. J., Berkowitz, S. J., Greenbaum, N. R., Lungren, M. P., Deng, C.-y., Mark, R. G., and Horng, S. (2019). "MIMIC-CXR: A Large Publicly Available Database of Labeled Chest Radiographs." arXiv preprint arXiv:1901.07042.

Ma, S., Yang, P., Liu, T., Li, P., Zhou, J., and Sun, X. (2019). "Key Fact as Pivot: A TwoStage Model for Low Resource Table-to-Text Generation." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2047-2057.

Miura, Y., Zhang, Y., Tsai, E., Langlotz, C., and Jurafsky, D. (2021). "Improving Factual Completeness and Consistency of Image-to-Text Radiology Report Generation." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 5288-5304.

Moryossef, A., Goldberg, Y., and Dagan, I. (2019). "Step-by-Step: Separating Planning from Realization in Neural Data-to-Text Generation." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers).

Shen, X., Chang, E., Su, H., Niu, C., and Klakow, D. (2020). "Neural Data-to-Text Generation via Jointly Learning the Segmentation and Correspondence." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7155-7165.

Wiseman, S., Shieber, S. M., and Rush, A. M. (2017). "Challenges in Data-to-Document Generation." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing.

Zhang, T., Kishore, V., Wu, F., Weinberger, K. Q., and Artzi, Y. (2019). "BERTScore: Evaluating Text Generation with BERT." In International Conference on Learning Representations. Zhang, Y., Wang, X., Xu, Z., Yu, Q., Yuille, A., and Xu, D. (2020). "When Radiology Report Generation Meets Knowledge Graph." In 34th AAAI Conference on Artificial Intelligence.

## 略歴

西埜徹：2018 年東京大学大学院博士前期課程 修了. 同年, 富士ゼロック
久株式会社 入社. 2022 年 4 月より富士フイルム株式会社に移籍し, 自然言語処理の研究者として研究開発に従事.


# 異なる時期での意味の違いを捉える単語分散表現の結合学習

単語は時期や分野の違いによって異なる意味や用例を持つことがあり，自然言語処理 の分野では単語分散表現を用いた検出が行われている。最近では文脈の情報を考慮 した単語分散表現を生成できる BERT などを用いた研究も盛んに行われているが,大規模な計算資源のない言語学者や社会学者などはこのような手法を適用するのが 難しい，本稿では，既存の文書間で同時に単語分散表現を学習する手法を拡張して， 2 つの文書間における単語の意味の違いを検出するタスクに取り組んだ. 実験の結果より，我々の手法が英語での実験や SemEval-2020 Task 1 だけでなく，これまで 行われていない日本語の実験においても既存手法と同等またはそれ以上の性能を示 した。また, 各手法が単語分散表現の獲得までにかかる訓練時間の比較を行った結果，提案した手法が既存手法よりも高速に学習できることを示した. さらに，提案 した単語分散表現獲得手法を用いて, 日本語のデー夕において意味変化した単語や 意味変化の種類, 傾向などの網羅的な分析も行った.

キーワード：意味変化，単語分散表現
## A Comprehensive Analysis of PMI-based Models for Measuring Semantic Differences

\author{
Taichi Aida ${ }^{\dagger}$, Mamoru Komachi ${ }^{\dagger}$, Toshinobu Ogiso $^{\dagger \dagger}$, \\ Hiroya Takamura ${ }^{\dagger \dagger \dagger}$ and Daichi Mochihashi ${ }^{\dagger \dagger \dagger}$
}

The task of detecting words with semantic differences across corpora is primarily addressed by word representations such as Word2Vec or BERT. However, there are no abundant computing resources available in the real world where linguists and sociologists apply these techniques. In this paper, we extend an existing CPU-trainable model which trains vectors of all time periods simultaneously. Experimental results demonstrate that the extended models achieved comparable or superior results to strong baselines in English corpora, SemEval-2020 Task 1, and Japanese. Furthermore, we compared the training time of each model and conducted a comprehensive analysis of Japanese corpora.

Key Words: Semantic Change, Word Representation

## 1 はじめに

単語は異なる時期間や分野間で異なる意味や用法を持つことがある. 例えば, meat は古英語 で「食べ物全般」を意味していたが，近代英語では「動物の肉」という狭い意味で使われるよ うになった. また, interface は一般的に「物体の表面」という意味で使われるが, 情報科学の 分野では「利用者とコンピュータを結びつけるシステム」という意味で使われている。記の ような時期間や分野間で意味や用法の変わる単語を自動で検出する手法は, 言語学・社会学や 辞書学だけでなく, 情報検索においても有用である (Kutuzov et al. 2018). 本稿ではこれ以降,時期の違いによる意味の変化に焦点を絞って言及する.

近年, このような変化を検出する方法として, 単語を周辺単語との共起情報を基にベクトル で表現する単語分散表現が広く用いられている. 例として, 1900 年代と 1990 年代における単語 coach の単語ベクトルとその周辺単語ベクトルを図 1 に示す. 図より, coach の周辺単語が 乗り物関連からスポーツ関連に変化していることがわかる。最終的な意味変化の度合いについ ては，学習した単語べクトル $\overrightarrow{\operatorname{coach}}_{1900 s}$ と $\overrightarrow{\operatorname{coach}}_{1990 s}$ のユークリッド距離や余弦類似度などの 尺度を用いられることが多い。上記のように異なる時期の文書情報を考慮した単語分散表現は,各時期で独立に訓練した単語分散表現に対応づけを行うなどをして獲得する (Kim et al. 2014; Kulkarni et al. 2015; Hamilton et al. 2016b). 対応づけによる手法は主に Word2Vec (Mikolov et al. 2013)などの文脈を考慮しない単語分散表現を対象としているため, 実装が容易で計算コス トも低いことから, 大規模な計算資源を持たない研究者でも導入することができる (Sommerauer and Fokkens 2019; Zimmermann 2019). しかし，対応づけによる手法は「各文書で学習したべ クトル空間を線形変換で対応づけできる」という強い仮定をおいている. そこで近年, 対応づ

図 11900 年代から 1990 年代にかけて, 学習した単語 coach のベクトルとその周辺単語のベクトルが変化する様子.

けを回避する 2 つの手法が提案された (Yao et al. 2018; Dubossarsky et al. 2019).

まず, Yao et al. (2018) は各時期の単語分散表現を同時に学習する Dynamic Word Embeddings を提案した。この手法は回転行列などによる対応づけが不要だが， 2.1 節式 (3) に示すように，設定に敏感な 3 つのハイパーパラメータが存在するため, 膨大な組み合わせ数の設定から最適 なハイパーパラメータを探索する必要がある.

次に，Dubossarsky et al. (2019) は全ての時期の文書をただ1つの文書とみなし，事前に用意 したリストに載っている単語だけ時期を区別してべクトルを学習する Temporal Referencing を 提案した. この手法は 1 つに結合した文書で単語分散表現を学習すれば良いことから非常に導入しやすいが，リストに載っていない単語は文書間で変化しないと仮定しているため，事前に よく選定された対象単語のリストを用意する必要がある.

また，時期を考慮した単語分散表現を獲得する手法だけでなく，それらを用いた分析におい てもいくつかの問題がある. 1つ目は, 時期を考慮した単語分散表現を獲得する手法が数多く提案されているにも関わらず，それらの性能の定量的な比較があまり行われていないことである (Schlechtweg et al. 2019; Shoemark et al. 2019; Tsakalidis and Liakata 2020; Schlechtweg et al. 2020).これは主に評価で対象の文書間で意味の変化した単語を用意する必要があるためであ る. 比較が行われていても，多くが英語やドイツ語などのヨーロッパ圈の言語を対象としてお り, 複数の言語での比較は少ない (Schlechtweg et al. 2020). 2 つ目は, 意味変化が自明な単語に 絞った定性的な分析が多いことである．特に英語においては，「陽気な」という意味から「同性愛者」という意味を持つようになった gay という単語についての分析が多く (Kim et al. 2014; Kulkarni et al. 2015; Hamilton et al. 2016b; Hu et al. 2019)，意味の変化が自明でない単語に注目されることは少ない (Gonen et al. 2020).

そこで本研究では, これらの問題に対して以下のように取り組む。まず, 手法の問題を解消 するために, Dubossarsky et al. (2019)の Temporal Referencing に対して2つの拡張を行う. 1 つ目は, 単語べクトルの学習の際に選定した語彙に含まれるすべての単語を対象単語とするこ とである。このように拡張することで，対象単語のリストを事前に用意する必要が無くなり, リ ストに載っていない単語の意味が変化することによる分析漏れなども避けることができる。ま た, 単語べクトルの変化量から, 自明でない単語の意味変化を検出することが可能になる． $2 \supset$目は, 周辺単語べクトルも文書間での変化を考慮することである。一般的に動的な単語分散表現 (Yao et al. 2018)でない限り, 学習した単語分散表現の対象単語べクトルは文書間で獲得さ れるが, 一緒に学習される周辺単語べクトルは文書間で固定されているか, 対応が取れていな いことが多い (Kim et al. 2014; Kulkarni et al. 2015; Hamilton et al. 2016b; Dubossarsky et al. 2019). そこで, Dynamic Word Embeddings のように周辺単語ベクトルも文書間での変化を考慮するような拡張を行う.

次に, 実験において, 複数の言語での性能比較および網羅的な分析を行った. 定量的な分析に

おいては, 各手法で意味変化した単語の検出性能を評価した. SemEval-2020 Task 1 (Schlechtweg et al. 2020) で 4 つの言語において提案した拡張方法による効果を検証した後に, 英語と日本語 の 2 つの言語において先行研究と提案した拡張手法の性能を比較した. 先行研究との比較の際 には, 意味変化を検出する性能だけでなく, 単語分散表現の学習に要する計算時間も比較した.定性的な分析においては, 先行研究によって意味の変化が報告されている単語だけでなく, 意味の変化が自明でない単語についても，網羅的な分析を行った.

本稿の構成を示す. 第 2 節では時期を考慮した単語分散表現を獲得するための先行研究およ び既存手法の問題点について述べる。第 3 節では既存手法の問題点を解消するための拡張方法 を提案する。第 4 節と第 5 節では提案手法と既存手法について, 意味変化した単語の検出性能 を比較する. 第 6 節では各手法が検出した単語や, 意味変化の種類・傾向について分析を行う.最後に, 第 7 節で本研究の結論を述べる 1.

## 2 関連研究

## 2.1 文脈を考慮しない単語分散表現を用いた手法

初期の段階では，各時期の頻度情報を用いた分析・検出が行われていた (Sagi et al. 2009; Cook and Stevenson 2010; Gulordava and Baroni 2011)．しかし，意味の変化が頻度の増減によって決 まるとは限らないため, 単語の意味を直接表現する必要がある. そのような状況の中で, Mikolov et al. (2013) が単語の意味をべクトル空間上で表す Word2Vec を提案し, 数多くの研究で用い られるようになった. この手法では一般的に1つの文書に対して1つの単語分散表現を学習す るため, 時期の異なる複数の文書で学習を行うと文書ごとに異なるべクトル空間が得られ，直接比較することができない. 図 1 のように通時的な単語分散表現を獲得するには, 各時期での ベクトル空間を対応させる必要がある。そのために, Kim et al. (2014) は時期 $t$ の単語分散表現の初期値を時期 $t-1$ の単語分散表現で初期化することで, 時期間で対応の取れた単語分散表現の獲得手法を提案した．近年では Kaji and Kobayashi (2017) によって Word2Vec の動的な 学習方法が提案され, より効率的に学習を行えるようになった。その後, Kulkarni et al. (2015) と Hamilton et al. (2016b) は各文書で独立に学習した単語分散表現を線形変換で対応づける手法を提案した. Kulkarni et al. (2015) は対象単語以外のほとんどの単語は意味が変化しないと いう仮定のもと, ある対象単語 $w$ の時期 $t$ での単語べクトル $\mathbf{W}_{t}(w)$ と時期 $t+1$ での単語べ クトル $\mathbf{W}_{t+1}(w)$ を対応づける線形変換 $\mathbf{R}(w)_{t \mapsto t+1}$ を以下のように獲得した

$
\left.\underset{t \mapsto t+1}{\mathbf{R}(w)}=\underset{\mathbf{R}}{\operatorname{argmin}} \sum_{s \in k-\mathrm{NN}} \| \mathbf{W}_{t}(w)\right) \mathbf{R}-\mathbf{W}_{t+1}(s) \|_{F}^{2}
$

ここで, $k-\mathrm{NN}\left(\mathbf{W}_{t}(w)\right)$ は $\mathbf{W}_{t}(w)$ における上位 $k$ 個の近傍単語であり, $\|\cdot\|_{F}$ はフロベニウス ノルムである. Hamilton et al. (2016b) も同様の仮定のもと, 時期 $t$ の単語分散表現 $\mathbf{W}_{t}$ と時期 $t+1$ の単語分散表現 $\mathbf{W}_{t+1}$ を対応させる回転行列 $\mathbf{R}_{t \mapsto t+1}$ を以下のように獲得した

$
\underset{t \mapsto t+1}{\mathbf{R}}=\underset{\mathbf{R}: \mathbf{R R}^{\top}=1}{\operatorname{argmin}}\left.\|\mathbf{W}_{t} \mathbf{R}-\mathbf{W}_{t+1}\right.\|_{F}^{2} .
$

この回転行列を用いた手法は，時期の異なる 2 つの文書において意味の変化した単語を検出す るタスクにおいて，頻度による手法を上回ることが報告されている (Schlechtweg et al. 2019). しかし, これらの線形変換に基づく対応づけによる手法は, 異なる文書で学習したべクトル空間を線形変換で対応づけすることができるという強い仮定をおいている。このような仮定は時期の近い文書を比較する際には有用かもしれないが，時期が大きく離れている場合には，それ ぞれのべクトル空間を正しく対応づけできない可能性がある.

そこで，上記の線形変換による問題を避けるため, Yao et al. (2018) は Dynamic Word Embeddings (DWE) を提案した。この手法は各時期の単語分散表現を同時に学習するため, 線形変換による対応づけを必要としない. ある時期 $t$ の単語ベクトルの集合 $\mathbf{W}_{t}$ は以下の目的関数 を最小化することで獲得できる

$
\begin{aligned}
\frac{1}{2} \sum_{t=1}^{T} & \left.\|\mathbf{M}_{t}-\mathbf{W}_{t} \mathbf{C}_{t}\right.\|_{F}^{2}+\frac{\gamma}{2} \sum_{t=1}^{T}\left.\|\mathbf{W}_{t}-\mathbf{C}_{t}^{\top}\right.\|_{F}^{2} \\
& +\frac{\lambda}{2} \sum_{t=1}^{T}\left.\|\mathbf{W}_{t}\right.\|_{F}^{2}+\frac{\tau}{2} \sum_{t=1}^{T-1}\left.\|\mathbf{W}_{t+1}-\mathbf{W}_{t}\right.\|_{F}^{2} \\
& +\frac{\lambda}{2} \sum_{t=1}^{T}\left.\|\mathbf{C}_{t}\right.\|_{F}^{2}+\frac{\tau}{2} \sum_{t=1}^{T-1}\left.\|\mathbf{C}_{t+1}-\mathbf{C}_{t}\right.\|_{F}^{2}
\end{aligned}
$

ここで $\mathbf{M}_{t}$ は時期 $t$ の positive pointwise mutual information (PMI) 行列, $\mathbf{C}_{t}$ は時期 $t$ の周辺単語ベクトル集合を示す. 訓練では, 学習パラメータである $\mathbf{W}_{t}, \mathbf{C}_{t}$ をランダムに初期化し,各時期の PMI 行列をもとに行列分解に適したブロック座標降下法で更新する ${ }^{2}$. また， $\gamma, \lambda, \tau$ はそれぞれハイパーパラメータであり， $\gamma$ は同じ時期における単語ベクトルと周辺単語ベクト ルの対応づけの強さ， $\tau$ は各べクトルにおける隣接する時期間での対応づけの強さを制御し, $\lambda$ は正則化の強さを制御する。この手法は同じ単語の同じ時期におけるべクトル $\left(\mathbf{W}_{t}, \mathbf{C}_{t}^{\mathbf{T}}\right)$ お よび同じ単語の隣接する時期におけるべクトル $\left.\{\left(\mathbf{W}_{t}, \mathbf{W}_{t+1}\right),\left(\mathbf{C}_{t}, \mathbf{C}_{t+1}\right)\right.\}$ は近いことを仮定し ている。したがって，この手法には設定に敏感な 3 つのハイパーパラメータがあり，膨大な組 み合わせ数の設定から適切なハイパーパラメータを探索する必要がある.

線形変換や動的な単語分散表現の問題を回避するために, Dubossarsky et al. (2019) は各文

書を 1 つの大きな文書とみなして単語分散表現を同時に学習する Temporal Referencing を提案した。時期の異なる文書を 1 つの大きな文書とみなし, 事前に与えられた対象単語のリスト $L=\left.\{w^{1}, w^{2}, \ldots, w^{|L|}\right.\}$ に載っている単語のみ時期ごとに区別して単語分散表現の学習を行う.

$
\begin{cases}\mathbf{W}_{1}\left(w^{i}\right), \ldots, \mathbf{W}_{t}\left(w^{i}\right), \ldots, \mathbf{W}_{T}\left(w^{i}\right) & w^{i} \in L \\ \mathbf{W}\left(w^{i}\right) & w^{i} \notin L\end{cases}
$

しかし，実際に任意の文書間で分析を行う場合において，適切に選定された対象単語リストを 事前に用意するのは労力を要する.

## 2.2 文脈を考慮した単語分散表現を用いた手法

2.1 節で取り上げた Word2Vec などの単語分散表現は 1 つの文書において 1 単語に 1 つのべク トルを割り当てているが，近年提案された BERT (Devlin et al. 2019) などに代表される事前訓練済み言語モデルは文ごとに単語のべクトルを獲得できるため，主に多義語の通時的な分析に 用いられている. Hu et al. (2019) は各意味における辞書の例文から各意味の教師べクトルを獲得して, 文書に含まれる各文における対象単語の意味を教師べクトルとの類似度に基づいて分類する手法を提案し, gay や tape などの多義語について, 主要な意味の時間変化を分析した. Giulianelli et al. (2020) は辞書の代わりに $k$-means を用いて単語の意味のクラスタリングを行 う手法を提案し，辞書のような教師情報なしに多義語における通時的な意味の時間変化を分析 した。一般的に， BERT のような文脈を考慮した単語べクトルを獲得できる手法は，意味変化検出タスク SemEval-2020 Task 1 において Word2Vec などの文脈を考慮しない単語分散表現よ り劣ることが報告されている (Kutuzov and Giulianelli 2020; Martinc et al. 2020b; Laicher et al. 2021; Montariol et al. 2021). しかし, 最近では, 文に $\langle 2022\rangle$ などの時期トークンを付与した り，時期ベクトルを学習する注意機構を追加したりして事前訓練済み言語モデルに時期を考慮 した調整を加えることで意味変化検出の性能が向上し， SemEval-2020 Task 1 で最高性能を獲得することが報告された (Rosin et al. 2022; Rosin and Radinsky 2022).

上記で取り上げた手法は，調査対象の言語において事前訓練済みの言語モデルが存在する前提だが， mBERT (Devlin et al. 2019) や XLM-R (Conneau et al. 2020) などの多言語モデルで も対応しているのはせいぜい 100 言語である. しかし, 対応外の言語で分析を行うためにモデ ルを一から訓練するには膨大な計算資源を必要とするため，潤沢な計算資源を持たない言語学者や社会学者には困難である。したがって，本研究では，少ない計算資源でも手軽に学習でき る 2.1 節のような文脈を考慮しない単語分散表現に基づいた手法に着目する.

## 3 提案法

本研究では, 先行研究である Temporal Referencing に対して, 2 つの拡張手法を提案する.

## 3.1 ベースとなる単語分散表現：PMI-SVD

最初に, 本研究の基盤となる Levy and Goldberg (2014)による研究について説明する. 彼ら は図 2 のように, 対象単語-周辺単語の PMI 行列を Singular Value Decomposition (SVD) で次元削減した結果が Word2Vec の Skip-Grams with Negative Sampling (SGNS) モデル (Mikolov et al. 2013) と等価であることを示した. 具体的には対象単語 $w$, 周辺単語 $c$, 及びそれらの共起する確率を $p(w), p(c), p(w, c)$ とすると, 単語分散表現は以下の手順で獲得できる. 最初に, $\mathrm{PMI}$ 行列 $\mathbf{M} \in \mathbb{R}^{W \times C}$ （ $W$ と $C$ はそれぞれ対象単語数，周辺単語数を示す）を以下のように 求める

$
\mathrm{M}[w, c]=\max \left(\log \frac{p(w, c)}{p(w) p(c)}, 0\right)
$

Levy and Goldberg (2014) の研究では SGNS は Shifted Positive PMI と等価であることを示し ていた.しかし, その後の彼らの研究により, Shifted Positive PMI は情報を減らしてしまうば かりで性能に貢献しないことが示された (Levy et al. 2015) ため, 本研究では標準的な Positive PMI を使用した。次に，PMI 行列 M をSVD で以下のように行列分解する

$
\mathbf{M}=\mathbf{U} \boldsymbol{\Sigma} \mathbf{V}^{\top}
$

ここで U と V は直交行列を示し， $\mathbf{\Sigma}$ は $\mathrm{M}$ の固有値が大きい順に格納された対角行列を示 す. 最終的に, 目的の $d$ 次元の対象単語ベクトルの集合 $\mathbf{W} \in \mathbb{R}^{W \times d}$ と周辺単語ベクトルの集合 $\mathbf{C}^{\top} \in \mathbb{R}^{C \times d}$ は以下のようにして獲得できる

$
\mathbf{W}=\mathbf{U} \boldsymbol{\Sigma}^{1 / 2}, \mathbf{C}^{\top}=\mathbf{V} \boldsymbol{\Sigma}^{1 / 2}
$

図 2 PMI-SVD (Levy and Goldberg 2014) の概要図。対象単語 apple とその周辺単語 eat, computer の 共起情報から自己相互情報量を計算して次元削減を行うことで, Word2Vec と等価な対象単語べク トルの集合 $\mathbf{W}$ と周辺単語ベクトルの集合 $\mathbf{C}$ を獲得できる。

この手法をもとに, Temporal Referencing に対して2つの拡張を行う.

Temporal Referencing に対する 1つ目の拡張として, 語彙に含まれる全ての単語を対象単語 とした. ここで先行研究と同様に, 周辺単語べクトルの集合 C が文書 A と B において変化し ないと仮定すると，各文書の $P M I$ 行列 $\mathbf{M}_{\mathrm{A}}, \mathbf{M}_{\mathrm{B}}$ を結合した $\mathbf{M}=\left[\mathbf{M}_{\mathrm{A}} ; \mathbf{M}_{\mathrm{B}}\right]$ をまとめて次元削減することで, 文書間の対応の取れた単語分散表現を獲得できる（図 3）

$
\left[\begin{array}{l}
\mathbf{M}_{\mathrm{A}} \\
\mathbf{M}_{\mathrm{B}}
\end{array}\right]=\left[\begin{array}{l}
\mathbf{W}_{\mathrm{A}} \\
\mathbf{W}_{\mathrm{B}}
\end{array}\right][\mathbf{C}]
$

## 3.3 拡張 2 : 文書間における周辺単語べクトルの変化を考慮する PMI-SVD ${ _{c}$}

2 つ目の拡張として, 周辺単語ベクトルの文書間の変化を考慮する (図 4). 各文書の周辺単語 ベクトル $\mathbf{C}_{\mathrm{A}}, \mathbf{C}_{\mathrm{B}}$ を獲得する単純な方法として各文書で計算した PMI 行列をそれぞれ独立に 行列分解する方法が挙げられるが，そのように獲得した単語分散表現は文書間での対応がとれ ない，そこで，本研究では各文書の周辺単語ベクトルに制約条件を与えることによって, DWE のように文書間で対応のとれた単語分散表現を獲得する。訓練において最小化する目的関数を 以下に示す

$
\sum_{y \in\{A, B\}}\left.\|\mathbf{M}_{y}-\mathbf{W}_{y} \mathbf{C}_{y}\right.\|_{F}+\tau\left.\|\mathbf{C}_{\mathrm{B}}-\mathbf{C}_{\mathrm{A}}\right.\|_{F}
$

ここで， $\tau$ は対応づけの強さを制御するハイパーパラメータである. DWE と同様に，各時期の PMI 行列をもとにランダムに初期化した学習パラメータ $\mathbf{W}_{t}, \mathbf{C}_{t}$ をブロック座標降下法で更新

図 3 PMI-SVD ${ }_{\text {joint }}$ の概要図. 各文書 $\mathrm{A}, \mathrm{B}$ で対象単語 apple とその周辺単語 eat, computer の自己相互情報量を計算し, 同時に次元削減を行うことで, 文書間で対応の取れた単語分散表現を獲得できる.

図 4 PMI-SVD ${ }_{c}$ の概要図. Dynamic Word Embeddings (Yao et al. 2018) のように制約条件を加え，周辺単語ベクトルの文書間での変化を考慮しながら文書間で対応の取れた単語分散表現を獲得する。

する ${ }^{3}$.この手法は DWE に似ているが, DWE と比較して単語ベクトルと周辺単語ベクトルの 対応づけの強さおよび正則化の強さを制御するハイパーパラメータを持たず，探索すべきハイ

必要な時間の比較を行う.

## 4 実験 1

本節では，提案した拡張手法による効果を検証するため, 2 つの拡張手法 PMI-SVD joint , PMI$\mathrm{SVD}_{c}$ と既存手法 Temporal Referencing の性能の比較を行う.

## 4.1 概要

SemEval-2020 Task 1 (Schlechtweg et al. 2020) で性能の比較を行った. SemEval-2020 Task 1 は時期の離れた 2 つの文書間で与えられた単語の意味変化を検出する共通タスクであり，分類 と順位付けの 2 つのサブタスクに分かれている。分類タスクでは，2つの文書間で与えられた 単語の意味が変化したかどうかを分類し，分類の精度を評価する。順位付けタスクでは，与え られた単語を意味変化の度合いで並び替えを行い，スピアマンの順位相関係数で評価を行う。

上記の 2 つのサブタスクについて，英語・ドイツ語・ラテン語・スウェーデン語の 4 つの言語で評価を行う．各言語における時期の区別とデータ量を表 1 に示す.

## 4.2 実験設定

今回の実験では，与えられた対象単語と両方の文書で 100 回以上出現した単語を語彙とし，頻度行列を作成する際の文脈空幅は前後 4 単語, PMI 行列の次元削減で得る単語ベクトルは 100

$\left.\{10^{-3}, 10^{-2}, \ldots, 10^{3}\right.\}$ のうち 4 つの言語全てで最も安定して学習した $\tau=1$ とした. 予測では,与えられた対象単語に対して時期間のべクトルの余弦類似度を使用した. 分類タスクでは, 先行研究と同様に対象単語の類似度の平均を閾値として分類を行った (Pražák et al. 2020). 順位付 けタスクでは，時期間の類似度が低い順に対象単語の順位付けを行った。以上の条件で，既存手

の性能を比較した。

## 4.3 結果と考察

PMI-SVD ${ }_{c}$ はどちらも既存手法 PMI-SVD $\operatorname{tr}$ の性能を上回っていることがわかる. また, PMI$\mathrm{SVD}_{\mathrm{tr}}, \mathrm{PMI}-\mathrm{SVD}_{\text {joint }}$ はデー夕量の少ないラテン語での性能が他の言語に比べて低いが, PMI$\mathrm{SVD}_{c}$ では他の言語と同等の性能を獲得し, 言語間の平均で最も高い性能であることが確認で きる。

次に，順位づけタスクの結果を表 3 に示す. 英語では既存手法 PMI-SVD $\mathrm{Pr}_{\mathrm{tr}}$ の性能が高いが,

表 1 SemEval-2020 Task 1 のデータセット．時期の離れた 2 つの文書 $C_{1}, C_{2}$ から与えられた単語の意味変化を検出し， 4 つの言語で性能を評価する。 \#tokens は延べ語数, \#types は異なり語数を示す.

表 2 SemEval-2020 Task 1 の Subtask 1 意味変化の有無を分類するタスクの結果. En, De, La, Sv, Avg. はそれぞれ英語，ドイツ語，ラテン語，スウェーデン語および 4 つの言語の平均を示す.

いることがわかる.このタスクでは特に既存手法および PMI-SVD joint のラテン語での性能が 低いが, PMI-SVD ${ }_{c}$ が大幅に性能を向上した.

以上の結果より，提案した 2 つの拡張手法によって文書間における単語の意味変化の検出性能を向上させることが確認できた. 1 つ目の拡張「語彙に含まれる全ての単語を対象語にする」 が性能を向上させた理由として，与えられた対象単語以外にも意味や用法の変化した単語が存在したことが挙げられる。今回の SemEval-2020 Task 1 では人手で選択されたいくつかの単語 だけが評価の対象となっているが，それ以外の単語が大規模なデー夕内で意味や用法が変化し ている可能性がある。既存手法 PMI-SVD tr では対象単語以外の単語について文書間で比較が

が低い順に意味変化の可能性が高い単語を出力した結果を表 4 に示す. 表 4 より，英語・ドイ ツ語・スウェーデン語では固有名詞が上位に多く出現していることが確認できる．ラテン語で は固有名詞が 2 つしか出現していないが，それ以外の単語はほとんど副詞であった。ここで検出した固有名詞や副詞は与えられた対象単語に含まれていないが, 時代によって周辺文脈が異

表 3 SemEval-2020 Task 1 の Subtask 2 対象単語の順位づけタスクの結果. En, De, La, Sv, Avg. は それぞれ英語, ドイツ語, ラテン語, スウェーデン語および 4 つの言語の平均を示す.

 \\

() の中はその単語の品詞であり，（名），（動），(形），（副），（代），（接）はそれぞれ名詞, 動詞, 形容詞, 副詞, 代名詞, 接続詞を示す.また, 太字は固有名詞を示す.

なるため，上位に出現したのだと考える。Temporal Referencing では与えられた対象単語だけ が意味変化すると仮定し, それ以外の単語は複数の文書でまとめて 1 つのべクトルのみ学習す るため, 今回の固有名詞や副詞のように対象から外れているが用例の異なる単語のべクトルが ノイズとなっていたのだと考える.

2 つ目の拡張「周辺単語ベクトルの変化を考慮する」が主にラテン語での性能を大幅に向上 させた要因として, 時間経過に伴う周辺単語の変化が挙げられる. 従来の手法を基にしている PMI-SVD $_{\mathrm{tr}}$ や PMI-SVD joint では各時期に対応した単語べクトルの学習時に周辺単語ベクトル を固定していた（図 3）ため, ラテン語のような時期が大きく離れている文書間での性能が低く なっていたのだと考える。そこで, 周辺単語べクトルも各時期で作成することで上記の問題を 回避し, 時間が大きく離れて周辺単語が大きく変わったラテン語のような状況でも他の言語と 同様の性能を獲得したのだと考える.

## 4.4 まとめ

本節では, 提案した 2 つの拡張手法 PMI-SVD joint, PMI-SVD $_{c}$ と既存手法 Temporal Referencing の性能の比較を行った。時期の異なる 2 つの文書間で与えられた対象単語の意味変化を検出す る SemEval-2020 Task 1 において 4 つの言語で性能を比較したところ，提案した 2 つ拡張手法が既存手法の性能を上回ることを示した，今回のデータでは与えられた対象単語以外の固有名詞や副詞といった単語が時期によって周辺文脈が異なるため, 文書間でただ 1 つのべクトル にまとめるのではなく, 全ての単語を対象単語として考慮することで性能が向上することを確認した. また, 周辺単語ベクトルの変化を考慮することによって, データ量の少ないラテン語 における性能を大幅に改善することがわかった.

## 5 実験 2

本節では，提案した 2 つの拡張手法といくつかの代表的な先行研究について，意味変化を検出する性能を比較した。

## 5.1 データ

ここでは, 日本語と英語の 2 つの言語で比較を行った. 実験に使用したコーパスの統計量を表 5 に示す。英語では， Corpus of Historical American English (COHA)4を用いた。 COHA は 10 年ごとに文書が分かれているため, 1900 年代と 1990 年代の文書を対象にした. Hamilton et al. (2016b) と同様に, ストップワードと固有名詞を取り除き, 両方の文書で 100 回以上出現する
^{4}$ https://www.english-corpora.org/coha/
}

 & \#types & 時期 &  & \#types \\

日本語 & $1874-1944$ & $17 \mathrm{M}$ & $152 \mathrm{k}$ & $1945-1997$ & $16 \mathrm{M}$ & $127 \mathrm{k}$ \\

表 5 データセットの統計量. 時期の離れた 2 つの文書 $C_{1}, C_{2}$ から単語の意味変化を検出する. \#tokens は延べ語数, \#types は異なり語数を示す.

名詞・動詞・形容詞・副詞を対象単語とした，日本語では，日本語歴史コーパス 5 を用いた，実験では第二次世界大戦の前後で文書を分け，英語と同様に両方の文書で 100 回以上出現する名詞・動詞・形容詞（形状詞は除く）・副詞を対象単語とした.

## 5.2 比較手法

行研究を比較した.
- Word2Vec $v i$ (Kim et al. 2014): 古い時期の文書（戦前, 1900 年代）の文書で Word2Vec SGNS モデルを訓練し，その結果を新しい時期の文書（戦後，1990 年代）の文書のモデ ルの初期値にして学習を行った。
- Word2Vec ${ }_{i n c r}$ (Kaji and Kobayashi 2017): 文書を与える度に動的にモデルを学習する incremental skip gram ${ }^{6}$ を適用し，最初に古い時期の文書を，次に新しい時期の文書を与 えて学習を行った。
- Word2Vecalign (Hamilton et al. 2016b): 各文書で Word2Vec SGNS モデルを訓練し, 式 (2) の回転行列で対応づけを行った。
- PMI-SVD align (Hamilton et al. 2016b): 各文書で PMI-SVD を訓練し, Word2Vec align と同様に回転行列で対応づけを行った。
- DWE (Yao et al. 2018): 先行研究と同様に, ブロック座標降下法で式 (3) を最小化し,単語分散表現を獲得した。この手法および PMI-SVD $\left.\{10^{-3}, 10^{-2}, \ldots, 10^{3}\right.\}$ の中からグリッドサーチで探索し, Area Under the Curve の最も 高い設定を採用した.
- BERT (Martinc et al. 2020a): 各時期の対象単語ベクトルは, 各時期の中における対象単語の全ての出現から文脈を考慮した対象単語のべクトルを獲得し, その平均を使用し た. 両言語において, Huggingface ${ }^{7}$ で公開されている事前訓練済みの bert-base-uncased

モデルを使用した。

文脈を考慮しない単語分散表現を使った手法は，文脈密幅を前後 4 単語, 100 次元, contextual distributional smoothing を 0.75 とした. その後, 先行研究と同様に， 2 つの時期の単語分散表現に対して同時に all-but-the-top (Mu and Viswanath 2018)の後処理を行った (Kaiser et al. 2021).

## 5.3 評価

評価には, 先行研究と同様に平均逆順位 (mean reciprocal rank; MRR) を使用した (Kulkarni et al. 2015; Yao et al. 2018). 具体的には，時期間のベクトルの余弦類似度に応じて語彙中の単語を並べ替え，評価に使う意味の変化が報告されている単語の逆順位の平均を求める。平均逆順位は主に検索システムの評価に用いられ，目的の Web サイトを上位で検出できているほど値 は大きくなり，優れたシステムであると評価される．また，各手法が意味の変化した単語を検出する様子を可視化するために, 再現率でも評価を行った (Kulkarni et al. 2015).

## 5.4 結果と考察

## 5.4.1疑似データでの評価実験

まず，2つの時期で完全に意味が変化する場合の性能を確認するため, Shoemark et al. (2019) と同様に，意味変化する単語を擬似的に生成して評価を行った，具体的には，新しい時期の文書で単語 $\beta$ （例：「景色」）が含まれる全ての文に対して単語 $\alpha$ （例：「友」）で置き換え，本来 の単語 $\alpha$ が出現する全ての文に対して単語 $\alpha$ を削除することで， $\alpha$ の出現文脈集合から $\beta$ の 出現文脈集合へと変化する単語 $\alpha^{\prime}$ を擬似的に生成した。

（置換：変更前）その辺りは，フランスの國道にそった景色のよいところですから，

(1947 年, 文部省『小学校国語 6 期』, 国語 第五学年 $)^{8}$

（置換：変更後）その辺りは，フランスの國道にそった友のよいところですから，

（削除：変更前） 世界の友よ，手をつなぎ，なかよくとんであそぼうよ.

(1947 年, 文部省『小学校国語 6 期』, 国語 第三学年 $)^{9}$

（削除：変更後） 世界の(削除)よ，手をつなぎ，なかよくとんであそぼうよ．

置換する単語ぺアの意味が似ている場合，擬似的に生成した単語の意味変化の度合いが小さく なってしまうため，単語ぺアはなるべく意味が離れているか無関係であることが望ましい，そ こで本研究では，両方の時期でそれぞれ獲得した PMI 行列の各行の余弦類似度の絶対値が 0.01 以下である単語ぺアの中からランダムに 50 ペア抽出し，文脈が完全に変化する単語を擬似的に 生成した。実験では，10 単語をハイパーパラメータ探索に，残りを評価に使用した。

図 5(a)，5(b) は疑似データにおける各手法の Recall@ $k$ を示す。提案した 2 つの拡張手法は DWE のように，擬似的に生成した意味の変化する単語をほぼ正確に検出できていることがわ かる.これらの図及び平均逆順位（表 6）より，提案した拡張手法は先行研究と同等またはそれ 以上の性能であることを示した.

意味が完全に変わる場合では性能が低いことが確認できた。このことから，学習した単語分散表現を線形変換で対応づけができるという仮定は強すぎるのではないかと考える。

また, 先行研究より, 古い時期で訓練した単語べクトルを新しい時期の単語べクトルの初期値とする手法 Word $2 \mathrm{Vec}_{v i}$, Word2 $\mathrm{Vec}_{i n c r}$ は線形変換で対応づけを行う手法 PMI-SVD ${ }_{\text {align }}$,

(a) 英語

(b) 日本語

図 5 各手法が擬似的に意味の変化した単語を検出する様子，縦軸は上位 $k$ 単語における再現率 (Recall@ $k$ ),横軸は考慮する上位の単語数 $k$ を示す.

表 6 擬似的に生成した単語における平均逆順位 (MRR)。*は事前訓練で外部のデータを使用している ことを示す.

Word2Vec $_{\text {align }}$ に劣ると報告されていた (Schlechtweg et al. 2019, 2020) が，今回の実験設定では

果（表 3）より, 意味変化検出の性能は分析対象の言語や時期によって大きく変わる可能性があ るため, 多様な言語や時期間を対象とする言語学や社会学へ応用するためには任意の言語や時期間で安定する手法の検討が必要である.

## 5.4.2実データでの評価実験

次に，実際に意味の変化が報告されている単語を用いて評価を行った．英語では word sense change testset ${ }^{10}$ をハイパーパラメータ探索に，Kulkarni et al. (2015) が作成したリストを評価 に使用した。日本語では, 間淵, 小木曽 (2021) が作成したリストをハイパーパラメー夕探索と 評価に使用した。

再現率を図 6(a)，6(b) に，平均逆順位を表 7 に示す。結果より，提案した 2 つの拡張手法

表 7 より英語のデータにおける訓練時間を比較すると, PMI- SVD $_{\text {joint }}$ は非常に高速に動作し,

$る^{11}$

これまでの実験では，外部の大規模なデータで事前訓練された BERT-base モデル（12 層 768 次元）を使用してきた。ここでは，データを揃えて性能を比較するために，実験で対象にした

(a) 英語

(b) 日本語

図 6 各手法が実際に意味の変化した単語を検出する様子．縦軸は上位 $k$ 単語における再現率 (Recall@ $k$ ),横軸は考慮する上位の単語数 $k$ を示す.
$ (Intel Xeon $2.60 \mathrm{GHz}$, 全 56 コア）, $512 \mathrm{~GB}$ の RAM を備えた計算機で計測した.
}

表 7 実際に意味の変化が報告されている単語での平均逆順位 (MRR). 訓練時間の列は英語のデー夕に おける各手法の訓練に要する時間を示す。*は事前訓練で外部のデータを使用していることを示す. BERT-tiny, BERT-mini は今回の実験で対象にしたデータのみを使用して訓練したものである.

通時データ（5.1 節）だけを使用して BERT モデルを再訓練する。BERT-base の事前訓練に使用されたデータと比べると通時データの量は非常に少ないため，今回は BERT-tiny（2 層 128 次元）と BERT-mini（4層 256 次元）を訓練した ${ }^{12}$. 表 7 より，提案した 2 つ拡張手法が同 じデータで訓練された BERT-tiny と BERT-mini の性能を上回ることを確認した. さらに，訓練時間を比較すると，BERT-tiny，BERT-mini は膨大な計算資源で 2 週間程度の訓練時間を要 するのに対し，提案手法は軽量で高速に動作することがわかる.

## 5.5 まとめ

本節では，提案した 2 つの拡張手法といくつかの代表的な先行研究について, 英語と日本語の 2 つ言語で定量的な比較を行った．意味の変化する単語を擬似的に生成した場合では，提案 した 2 つの拡張手法がほぼ完璧に意味の変化する単語を検出し，先行研究と同等またはそれ以上の平均逆順位を示した。実際に変化が報告されている単語を用いた場合でも，提案した $2 \supset$ の拡張手法が先行研究と同等またはそれ以上の平均逆順位を示した, また, 単語分散表現の学

先行研究 Dynamic Word Embeddings と比較してハイパーパラメータ探索に必要な時間を大幅 に削減していることがわかった。
$ ，全 56 コア)， 512 GB の RAM を備えた計算機で計測した.
}

## 6 分析

本節では最初に, 定量的な比較実験（5.4.2 節）で優れた性能を示した BERT と提案手法の 1 つである PMI-SVD $c$ について, 定性的な分析を行った. 次に，単に意味変化の有無を予測する だけでなく, 意味変化の種類について先行研究の指標を用いて分析を行った. 最後に, 単語の 意味変化の傾向について, 単語ベクトルの空間上で分析を行った.

## 6.1 意味変化の可能性が高い上位 10 単語

まず，各手法が時期間の余弦類似度に基づいて語彙中の単語を並べ替え, 意味変化の可能性 が高いと予測した上位 10 単語を比較した。具体的には，各手法で時期間の余弦類似度が低い順 に並べた単語について, その単語が出現する文を各時期のコーパスから 50 文抽出し, 各時期に おける意味について人手でアノテーションを行い，代表的な意味を集計した，日本語における 結果を表 8 に示す.どちらの手法も「行い」や「欠け」といった 2 つの時期間で意味が変化した 単語を検出できている事がわかる。また, BERT は「若く」,「公明」,「参議」,「幼稚」のよう に概念が追加・削除されることで意味が大きく変化する単語を，PMI-SVD P $_{c}$ はおおお」，「反面」のように元の概念が拡張されることで意味が多少変化する単語を捉えている． BERT は与 えられた文全体を考慮して単語べクトルを算出し, PMI-SVD P $_{c}$ は周辺数単語の頻度情報から単語ベクトルを算出していることから，単語ベクトルを獲得する際の文脈空幅の違いによるもの であると考える。

表 8 各手法において時期間の余弦類似度が低い順に並べた上位 10 単語と, 各時期における単語の意味 の分析結果. 1 文字の単語は除外している.

## 6.2 意味変化した単語に対する近傍単語の変化

次に，意味変化をした単語の近傍単語の変化を分析した (Kim et al. 2014; Hamilton et al. 2016b). ここでは, 間淵, 小木曽 (2021)によって意味の変化が報告されている単語「了解（理解 $\rightarrow$ 承諾)」及び表 8 で今回検出した単語「欠け（物理的 $\rightarrow$ 概念的）」について，BERT と ${\mathrm{PMI}-\mathrm{SVD}_{c}}$ の近傍単語を比較した。それぞれの単語における近傍単語の変化を表 $9(\mathrm{a}), 9(\mathrm{~b})$ に 示す. 意味変化が自明な単語「了解」は理解から承知へと意味が変化しており, 表 9 (a) からどち らの手法も適切に両方の意味を検出できているが，BERT は変化後の意味を持つ単語「承諾」,「承知」を変化前（戦前）に検出してしまっていることが分かる．今回の分析で検出した単語「欠け」は物理的な欠損から概念的な欠損へと変化していることを確認した．表 $9(b)$ より，どち らの手法も変化の前後で適切に近傍単語を検出できていることがわかる．以上の結果より，提案手法 PMI-SVD P $_{c}$ は意味変化が自明な単語だけでなく, そうでない単語についても適切に意味 の変化を捉えられることが確認できた.

## 6.3 意味変化の種類

これまでの分析では，2つの時期間で意味が変化した単語を検出していたが，それがどのよ うな変化であるかまでは予測できていない. Hamilton et al. (2016a) は，調査対象単語が緩やか に変化する言語的な変化または何らかの拍子に急激に変化する文化的な変化のどちらかを予測 する指標を提案した. 最初に, global な指標として, 分析対象の時期 $t, t+1$ における対象単語 $w^{i}$ のベクトル $\mathbf{W}_{t}\left(w^{i}\right), \mathbf{W}_{t+1}\left(w^{i}\right)$ を以下のように直接比較する

$
\operatorname{global}_{t, t+1}\left(w^{i}\right)=1-\cos \left(\mathbf{W}_{t}\left(w^{i}\right), \mathbf{W}_{t+1}\left(w^{i}\right)\right)
$

(b) 欠け（物理的 $\rightarrow$ 概念的）

表 9 各時期における対象単語ベクトルの近傍 5 単語. 1 文字の単語は除外している.

表 10 言語的 (global > local), 文化的 $($ global < local) な意味変化の度合いが高い上位 5 単語.

次に, local な指標を以下のように算出する。まず，各時期 $t, t+1$ で対象単語 $w^{i}$ の上位 $k$ 個 の近傍単語 $k-\mathrm{NN}\left(\mathbf{W}_{t}\left(w^{i}\right)\right), k-\mathrm{NN}\left(\mathbf{W}_{t+1}\left(w^{i}\right)\right)$ を獲得する. その後, 各時期の近傍単語を結合し

$
L_{t, t+1}\left(w^{i}\right)=k-\mathrm{NN}\left(\mathbf{W}_{t}\left(w^{i}\right)\right) \cup k-\mathrm{NN}\left(\mathbf{W}_{t+1}\left(w^{i}\right)\right)
$

時期 $t$ における対象単語 $w^{i}$ と $L_{t, t+1}\left(w^{i}\right)$ に含まれる近傍単語 $w^{j}$ のベクトルの類似度を $\left|L_{t, t+1}\left(w^{i}\right)\right|$ 次元のベクトル $\mathbf{s}_{t}$ に格納する

$
\mathrm{s}_{t}[j]=\cos \left(\mathbf{W}_{t}\left(w^{i}\right), \mathbf{W}_{t}\left(w^{j}\right)\right), \forall w^{j} \in L_{t, t+1}\left(w^{i}\right)
$

最終的に，得られた類似度べクトル $\mathbf{s}_{t}, \mathbf{s}_{t+1}$ の変化を算出する

$
\operatorname{local}_{t, t+1}\left(w^{i}\right)=1-\cos \left(\mathbf{s}_{t}, \mathbf{s}_{t+1}\right) .
$

以上の global と local の 2 つの指標の差を計算したところ，英語において，言語的に変化する 副詞などの単語は global の値が大きく, 文化的に変化する名詞や動詞などの単語は local の値 が大きいことが報告されている (Hamilton et al. 2016a).

そこで，この指標を用いて，言語的・文化的それぞれの変化が強い単語を日本語のデータで 分析する。結果を表 10 に示す。言語的な変化と予測された単語の中には，「老婆」や「心情」の ように，時間経過とともに限定的な使われ方をするようになる単語が見られた。一方，文化的 な変化と予測された単語の中には,「氾監」のようにより広い使われ方に拡張された単語や「分離」のようにある用法が急激に使われるようになった単語が見られた，以上の結果より，先行研究とは異なるが, global と local の 2 つの指標を組み合わせることで, 限定的な使われ方をす る単語と拡張された意味で使われるようになる単語を検出できることがわかった.

## 6.4 意味変化しやすいべクトルの特徴

ここでは，どのような単語べクトルが変化しやすいのか，また，変化しやすい単語べクトル

には空間的な特徴があるのかについて分析を行った。日本語のデー夕において, 古い時期（戦前）の単語べクトルを入力として与え, そのべクトルの変化量を予測する回帰問題として定式化を行った. 今回は, PMI-SVD ${ }_{c}$ のベクトルを訓練に 4,000 単語, 評価に 1,000 単語使用した.実験に使用した回帰モデルを以下に示す.

・ 線形回帰：二乗の正則化項を持つリッジ回帰を採用した。正則化パラメータは $\left.\{10^{-3}, 10^{-2}, \ldots, 10^{3}\right.\}$ から探索した.
- 多層パーセプトロン：3 層のネットワークを用い, 線形回帰と同様に正則化パラメータ の探索を行った。
- ガウス過程回帰：確率に基づいた予測を得られるため，ガウス過程による回帰モデルを 用いた。カーネルは RBF カーネルを採用し，ハイパーパラメータはガウス過程回帰で 一般的なスケーリング共役勾配法で最適化を行った。

ガウス過程回帰では，カーネルを用いることで，与えられた単語べクトル間の類似度を考慮し て変化量を予測することが可能である。 RBF カーネルでは類似度にユークリッド距離が用いら れているため，ガウス過程回帰は単語ベクトルからそのノルムも考慮していることになる。そ こで，線形回帰と多層パーセプトロンの特徴量には，単語べクトルだけを使用した場合と単語 ベクトルとそのノルムを使用した場合の 2 種類を用いた。予測する変化量は平均 0 , 分散 1 に 標準化したユークリッド距離とし，評価には予測した変化量と実際の変化量との平均二乗誤差 を採用した。

訓練・評価用データの分割方法を変え，5 回実験を行った結果を表 11 に示す．表より，ガウ ス過程回帰が最も正解からの誤差が低く，適切な予測ができていることがわかる。また，線形回帰において, 単語べクトルのノルムを特徴量に追加することで予測性能の向上が確認できる. このため, 単語ベクトルのノルムが意味変化のしやすさに関係していると考える。

そこで，単語べクトルのノルムと意味変化の関係について調査するため, 評価に用いた単語 ベクトルを TSNE で 2 次元に圧縮して正解のユークリッド距離とガウス過程回帰の予測値を描画した。その結果を図 7 に示す。図より, 中央にある単語ほど変化量が小さく, 中央から離れた

表 11 古い時期（戦前）の単語ベクトルから，その変化量（ユークリッド距離）を予測した結果．異な る seed 値で 5 回評価した平均と標準偏差を示す.
位置にある単語ほど変化量が大きいことが確認できる。ガウス過程回帰による予測結果は，図 の外側に分布する人名や地理名などの固有名詞に対して，正解の値と同様に大きな変化量を示 している．4節で行った分析でも同様の結果が現れており，表 4 では意味変化の度合いが大きい 順に並べた単語の多くが固有名詞であった。また，6.1節における分析結果の表 8 でも，BERT と PMI-SVD ${ }_{c}$ の両方が組織名や人名を含む単語を上位に検出していることから，この現象はモ デル固有ではないことが言える。ここで，単語べクトルのノルムを調べたところ，外側に位置 する変化量の大きい固有名詞はべクトルのノルムが大きく, 中央に位置する変化量の小さい単語はベクトルのノルムが小さいことがわかった. 先行研究においても, 固有名詞は他の品詞と 比べてベクトルのノルムが大きく (Schakel and Wilson 2015), 特定の文脈で出現しやすい(大山他 2022 ことが示されている。これらの結果より, ベクトルのノルムが大きい固有名詞のよう な単語ほど意味が変化しやすいと考える。

一方で, 図 7 に示した「出版・報道」,「貿易」,「工学」,「軍事」のグループに含まれる単語 は，実際にはあまり変化していないが回帰モデルは大きな変化量であると予測していた，そこ で，各グループから単語を選択し，戦前と戦後での用例の違いを分析した．表 12 より「「特派」 と「電力」は人名や地名，企業名などと一緒に共起していることが確認できる．また，「製造」 や「作戦」は単語自体の意味は変わらないものの，戦前・戦後の時代の特徴を反映しているこ

図 7 正解のユークリッド距離（左）とガウス過程回帰の予測結果（右）をTSNE で 2 次元に圧縮し, 可視化した結果.

表 12 ガウス過程回帰のエラー分析の結果.「出版・報道」,「貿易」,「工学」「軍事」のグループから単語を選択し, 用例の変化を調査した。

とが確認できる．以上から，これらのグループに含まれる単語は, 変化量の大きい人名や地名 などの固有名詞に影響されていると考える。

## 6.5 まとめ

本節では，いくつかの定性的な分析を行った。まず，BERT と提案手法の 1 つである PMI-

い単語についても適切に意味変化を捉えられることがわかった. 次に，意味変化の種類を予測 する先行研究の指標を用いて, 日本語のデータに対して分析を行った. その結果, 限定的な使 われ方をするようになった単語と拡張された意味で使われるようになった単語を分けて検出で きることが確認できた，最後に，単語の意味変化のしやすさについて，回帰モデルを用いてべ クトル空間の観点から分析を行った。その結果, 単語べクトルのノルムが意味変化量の予測に 影響していることがわかった.

## 7 おわりに

本研究では，時期や分野の異なる文書間で意味や用例の異なる単語を検出する夕スクにおい て, 既存の単語べクトル学習手法に対して 2 つ拡張を提案した. この手法は従来の手法の問題点を解消し, 大規模な計算資源を必要とする BERT と比べ CPU のみで軽量かつ高速に学習可能である. SemEval-2020 Task 1 での事前実験の結果，提案した 2 つの拡張手法によって意味変化した単語の検出性能を向上させることを確認した。また，日本語と英語での実験より，提案した拡張手法は従来の手法よりも効果的に学習し，優れた性能を発揮する事を示した．網羅的な分析の結果, 提案した拡張手法は意味変化が既知である単語だけでなく, 自明でない単語 についても検出可能である事を示した。意味変化の種類について先行研究の指標を用いて日本語で分析した結果, 限定的な意味で使われるようになった単語と拡張された意味で使われるよ うになった単語を区別して検出できることがわかった。最後に，回帰モデルを用いて意味変化 のしやすさをべクトル空間の観点から分析した結果, 単語べクトルのノルムが意味変化量の予測に影響していることがわかった.

## 謝 辞

本研究は国立国語研究所の共同研究プロジェクト「現代語の意味の変化に対する計算的・統計力学的アプローチ」, 同「通時コーパスの設計と日本語史研究の新展開」および JSPS 科研費 19H00531, 18K11456 の研究成果の一部を報告したものである.

## 参考文献

相田太一, 小町守, 小木曽智信, 高村大也, 持橋大地 (2021). 通時的な単語の意味変化を捉える 単語分散表現の同時学習. 言語処理学会第 27 回年次大会発表論文集, pp. 712-717, 北九州国際会議場（オンライン開催）. 言語処理学会. [T. Aida et al. (2021). Tsujiteki na Tango no Imi Henka wo Toraeru Tango Bunsan Hyogen no Doji Gakushu. Proceedings of the 27th Annual Meeting of the Association for Natural Language Processing, pp. 712-717.].

Aida, T., Komachi, M., Ogiso, T., Takamura, H., and Mochihashi, D. (2021). "A Comprehensive Analysis of PMI-based Models for Measuring Semantic Differences." In Proceedings of the 35th Pacific Asia Conference on Language, Information and Computation, pp. 21-31, Shanghai, China. Association for Computational Lingustics.

Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E., Ott, M., Zettlemoyer, L., and Stoyanov, V. (2020). "Unsupervised Cross-lingual Representation Learning at Scale." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, Online. Association for Computational Linguistics.

Cook, P. and Stevenson, S. (2010). "Automatically Identifying Changes in the Semantic Orientation of Words." In Proceedings of the 7th International Conference on Language Resources and Evaluation (LREC'10), Valletta, Malta. European Language Resources Association (ELRA).

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Dubossarsky, H., Hengchen, S., Tahmasebi, N., and Schlechtweg, D. (2019). "Time-Out: Temporal Referencing for Robust Modeling of Lexical Semantic Change." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 457-470, Florence, Italy. Association for Computational Linguistics.

Giulianelli, M., Del Tredici, M., and Fernández, R. (2020). "Analysing Lexical Semantic Change with Contextualised Word Representations." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3960-3973, Online. Association for Computational Linguistics.

Gonen, H., Jawahar, G., Seddah, D., and Goldberg, Y. (2020). "Simple, Interpretable and Stable

Method for Detecting Words with Usage Change across Corpora." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 538-555, Online. Association for Computational Linguistics.

Gulordava, K. and Baroni, M. (2011). "A Distributional Similarity Approach to the Detection of Semantic Change in the Google Books Ngram Corpus." In Proceedings of the GEMS 2011 Workshop on GEometrical Models of Natural Language Semantics, pp. 67-71, Edinburgh, UK. Association for Computational Linguistics.

Hamilton, W. L., Leskovec, J., and Jurafsky, D. (2016a). "Cultural Shift or Linguistic Drift? Comparing Two Computational Measures of Semantic Change." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2116-2121, Austin, Texas. Association for Computational Linguistics.

Hamilton, W. L., Leskovec, J., and Jurafsky, D. (2016b). "Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1489-1501, Berlin, Germany. Association for Computational Linguistics.

Hu, R., Li, S., and Liang, S. (2019). "Diachronic Sense Modeling with Deep Contextualized Word Embeddings: An Ecological View." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3899-3908, Florence, Italy. Association for Computational Linguistics.

Kaiser, J., Kurtyigit, S., Kotchourko, S., and Schlechtweg, D. (2021). "Effects of Pre- and PostProcessing on type-based Embeddings in Lexical Semantic Change Detection." In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 125-137, Online. Association for Computational Linguistics.

Kaji, N. and Kobayashi, H. (2017). "Incremental Skip-gram Model with Negative Sampling." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 363-371, Copenhagen, Denmark. Association for Computational Linguistics.

Kim, Y., Chiu, Y.-I., Hanaki, K., Hegde, D., and Petrov, S. (2014). "Temporal Analysis of Language through Neural Language Models." In Proceedings of the ACL 2014 Workshop on Language Technologies and Computational Social Science, pp. 61-65, Baltimore, MD, USA. Association for Computational Linguistics.

Kulkarni, V., Al-Rfou, R., Perozzi, B., and Skiena, S. (2015). "Statistically Significant Detection of Linguistic Change." In Proceedings of the 24th International Conference on World Wide Web, pp. 625-635.

Kutuzov, A. and Giulianelli, M. (2020). "UiO-UvA at SemEval-2020 Task 1: Contextualised

Embeddings for Lexical Semantic Change Detection." In Proceedings of the 14th Workshop on Semantic Evaluation, pp. 126-134, Barcelona (online). International Committee for Computational Linguistics.

Kutuzov, A., Øvrelid, L., Szymanski, T., and Velldal, E. (2018). "Diachronic Word Embeddings and Semantic Shifts: A Survey." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 1384-1397, Santa Fe, New Mexico, USA. Association for Computational Linguistics.

Laicher, S., Kurtyigit, S., Schlechtweg, D., Kuhn, J., and Schulte im Walde, S. (2021). "Explaining and Improving BERT Performance on Lexical Semantic Change Detection." In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Student Research Workshop, pp. 192-202, Online. Association for Computational Linguistics.

Levy, O. and Goldberg, Y. (2014). "Neural Word Embedding as Implicit Matrix Factorization." In Ghahramani, Z., Welling, M., Cortes, C., Lawrence, N. D., and Weinberger, K. Q. (Eds.), Advances in Neural Information Processing Systems 27, pp. 2177-2185. Curran Associates, Inc.

Levy, O., Goldberg, Y., and Dagan, I. (2015). "Improving Distributional Similarity with Lessons Learned from Word Embeddings." Transactions of the Association for Computational Linguistics, 3, pp. 211-225.

間淵洋子, 小木曽智信 (2021). 近現代日本語の意味変化分析のための単語データセット構築の 試み. 言語処理学会第 27 回年次大会発表論文集, pp. 1166-1170, 北九州国際会議場（オン ライン開催）. 言語処理学会. [Y. Mabuchi and T. Ogiso (2021). Kingendai Nihongo no Imi Henka Bunseki notameno Tango Detasetto Kochiku no Kokoromi. Proceedings of the 27th Annual Meeting of the Association for Natural Language Processing, pp. 1166-1170.].

Martinc, M., Kralj Novak, P., and Pollak, S. (2020a). "Leveraging Contextual Embeddings for Detecting Diachronic Semantic Shift." In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4811-4819, Marseille, France. European Language Resources Association.

Martinc, M., Montariol, S., Zosa, E., and Pivovarova, L. (2020b). "Discovery Team at SemEval2020 Task 1: Context-sensitive Embeddings Not Always Better than Static for Semantic Change Detection." In Proceedings of the 14th Workshop on Semantic Evaluation, pp. 67-73, Barcelona (online). International Committee for Computational Linguistics.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013). "Efficient Estimation of Word Representations in Vector Space." In Bengio, Y. and LeCun, Y. (Eds.), International Conference
on Learning Representations.

Montariol, S., Martinc, M., and Pivovarova, L. (2021). "Scalable and Interpretable Semantic Change Detection." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4642-4652, Online. Association for Computational Linguistics.

Mu, J. and Viswanath, P. (2018). "All-but-the-Top: Simple and Effective Postprocessing for Word Representations." In International Conference on Learning Representations.

大山百々勢, 横井祥, 下平英寿 (2022). 単語ベクトルの長さは意味の強さを表す. 言語処理学会第 28 回年次大会発表論文集, pp. 1050-1055, アクトシティ浜松コングレスセンター（オ ンライン開催）. 言語処理学会. [M. Oyama et al. (2022). Tango Bekutoru no Nagasa ha Imi no Tsuyosa wo Arawasu. Proceedings of the 28th Annual Meeting of the Association for Natural Language Processing, pp. 1050-1055.].

Pražák, O., Přibáň, P., Taylor, S., and Sido, J. (2020). "UWB at SemEval-2020 Task 1: Lexical Semantic Change Detection." In Proceedings of the 14th Workshop on Semantic Evaluation, pp. 246-254, Barcelona (online). International Committee for Computational Linguistics.

Rosin, G. D., Guy, I., and Radinsky, K. (2022). "Time Masking for Temporal Language Models." In Proceedings of the 15th ACM International Conference on Web Search and Data Mining, WSDM '22, pp. 833-841, New York, NY, USA. Association for Computing Machinery.

Rosin, G. D. and Radinsky, K. (2022). "Temporal Attention for Language Models." In Findings of the Association for Computational Linguistics: NAACL 2022, pp. 1498-1508, Seattle, United States. Association for Computational Linguistics.

Sagi, E., Kaufmann, S., and Clark, B. (2009). "Semantic Density Analysis: Comparing Word Meaning across Time and Phonetic Space." In Proceedings of the Workshop on Geometrical Models of Natural Language Semantics, pp. 104-111, Athens, Greece. Association for Computational Linguistics.

Schakel, A. M. and Wilson, B. J. (2015). "Measuring word significance using distributed representations of words." arXiv preprint arXiv:1508.02297.

Schlechtweg, D., Hätty, A., Del Tredici, M., and Schulte im Walde, S. (2019). "A Wind of Change: Detecting and Evaluating Lexical Semantic Change across Times and Domains." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 732-746, Florence, Italy. Association for Computational Linguistics.

Schlechtweg, D., McGillivray, B., Hengchen, S., Dubossarsky, H., and Tahmasebi, N. (2020). "SemEval-2020 Task 1: Unsupervised Lexical Semantic Change Detection." In Proceedings of the 14th Workshop on Semantic Evaluation, pp. 1-23, Barcelona (online). International

Committee for Computational Linguistics.

Shoemark, P., Liza, F. F., Nguyen, D., Hale, S., and McGillivray, B. (2019). "Room to Glo: A Systematic Comparison of Semantic Change Detection Approaches with Word Embeddings." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pp. 66-76, Hong Kong, China. Association for Computational Linguistics.

Sommerauer, P. and Fokkens, A. (2019). "Conceptual Change and Distributional Semantic Models: an Exploratory Study on Pitfalls and Possibilities." In Proceedings of the 1st International Workshop on Computational Approaches to Historical Language Change, pp. 223-233, Florence, Italy. Association for Computational Linguistics.

Tsakalidis, A. and Liakata, M. (2020). "Sequential Modelling of the Evolution of Word Representations for Semantic Change Detection." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 8485-8497, Online. Association for Computational Linguistics.

Yao, Z., Sun, Y., Ding, W., Rao, N., and Xiong, H. (2018). "Dynamic Word Embeddings for Evolving Semantic Discovery." In Proceedings of the 11th ACM International Conference on Web Search and Data Mining, WSDM '18, pp. 673-681, New York, NY, USA. Association for Computing Machinery.

Zimmermann, R. (2019). "Studying Semantic Chain Shifts with Word2Vec: FOOD $>$ MEAT $>$ FLESH." In Proceedings of the 1st International Workshop on Computational Approaches to Historical Language Change, pp. 23-28, Florence, Italy. Association for Computational Linguistics.

## 略歴

相田 太一：2020 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2022 年東京都立大学大学院システムデザイン研究科情報科学域博士前期課程修了.同年同大学同研究科同学域博士後期課程進学.

小町守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒業. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年同研究科博士後期課程修了. 博士 (工学). 同年同研究科助教. 2013 年首都大学東京 (現東京都立大学）システムデザイン学部准教授， 2022 年より教授. 2023 年より一橋大学ソーシャル・データサイエンス研究科教授. 情報処理学会, 人工知能学会,言語処理学会, ACL 各会員.
小木曽智信 : 1995 年東京大学文学部日本語日本文学 (国語学) 専修課程卒業. 1997 年東京大学大学院人文社会系研究科日本文化研究専攻修士課程修了. 2001 年同博士課程中途退学. 2014 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 博士 (工学)。2001 年明海大学講師, 2006 年独立行政法人国立国語研究所研究員を経て，2009 年人間文化研究機構国立国語研究所准教授, 2016 年より教授. 言語処理学会, 日本語学会各会員.

高村 大也：1997 年東京大学工学部計数工学科卒業. 2000 年同大学大学院工学系研究科計数工学専攻修了 (1999 年はオーストリアウィーン工科大学で研究). 2003 年奈良先端科学技術大学院大学情報科学研究科博士課程修了. 博士 (工学)。2003 年東京工業大学助手，のち助教，准教授を経て，2017 年か ら 2021 年まで同教授. 2017 年より産業技術総合研究所人工知能研究センター チーム長. 言語処理学会, ACL 各会員.

持橋 大地：1998 年東京大学教養学部基礎科学科第二卒業. 2005 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 博士 (理学). 2003 年 ATR 音声言語コミュニケーション研究所研修研究員/専任研究員. 2007 年よ り NTTコミュニケーション科学基礎研究所リサーチアソシエイト. 2011 年 より統計数理研究所准教授. ACL 各会員.