# 「BioVL2データセット: 生化学分野における一人称視点の 実験映像への言語アノテーション」の研究経緯

西村 太一 ${ }^{\dagger}$
## 1 はじめに

本稿では, 言語処理学会の 2022 年度論文賞をいただいた “BioVL2 データセット: 生化学分野 における一人称視点の実験映像への言語アノテーション”(西村 他 2022 )の研究の経緯について 説明する。

## 2 本研究の概要

科学は再現性の危機に瀕している。2 2016 年に学術誌 Nature に掲載された, “1,500 Scientists Lift The Lid on Reproducibility"(Baker 2016)の報告にて, 心理学, 化学, 医学といった多くの 研究分野において, 多くの科学者が他者の実験結果を再現することに失敗した経験があること が明らかになった。分野ごとの統計結果も記載されているのだが，とりわけ再現の失敗する傾向が多かったのが, 生化学や生命科学などの薬品を用いた化学実験を行う研究分野である. こ うした分野では， $75 \%$ から $80 \%$ 以上の研究者が他の研究者の実験結果を再現することができな かった経験があると報告している。

こうした化学実験において, 再現性の観点から重要な役割を果たすのが実験プロトコルであ る ${ }^{1}$ 実験プロトコルとは，ある実験を再現するために必要な操作を時系列順に記述した文書で ある．科学者はこれに従うことで理想的には実験を再現できるべきであるが，人が書いたもの であるがゆえ手順には抜け漏れが生じたり，誤りを含んだりすることもある．また，多くは言語のみによる記述のため，直感的に分かりやすい視覚情報は含まれていない．玄人の科学者で あれば，過去の実験経験をもとに，言語情報のみから再現することも可能であろうが，駆け出 しの科学者であればそれもまた難しくなる。人工知能技術を用いてこの問題の解決に貢献でき るだろうか？ この問いが本研究の根底にある学術的問いである.

この問いに答えるために，我々は視覚と言語の融合研究に着目した．撮影した実験映像とプロ

トコルの組から, 映像の操作シーンとプロトコルの各手順の対応関係を推定する技術 (Bojanowski et al. 2015; Naim et al. 2014, 2015) を応用すれば，手順ごとに視覚的に操作を確認できるように なる。あるいは，作業映像を入力としてプロトコルを自動生成できれば (Nishimura et al. 2021; Ushiku et al. 2017)，研究者がプロトコルを書く負担を軽減することができる。このように，化学実験を対象とした視覚と言語の融合研究は実験プロトコルの参照時と作成時の両方の負担を 軽減し, 実験再現性の向上に貢献できるだろうと考えた.

この目標に向けた第一歩として, 本研究では, 生化学分野を対象として実験映像を収集し，言語アノテーションを付与した BioVL2 データセットを構築した（図 1). BioVL2 データセット には, 生化学分野の 4 種類の基礎的な実験に対して 8 映像を撮影し, 各映像に対して (a) 視覚 と言語の対応関係と (b) プロトコル内に現れる物体の矩形情報の二種類のアノテーションを付与した。これらのアノテーション方法や統計情報といった詳しい説明は元論文に譲る. 重要な のは，これらの情報を利用することで，映像中からのシーン検索やプロトコル生成による科学者のプロトコル記述の補助といった科学の再現性向上に資するデータセットを提案したことで ある。構築した BioVL2 データセットを用いて，作業映像からのプロトコル生成を応用課題に 掲げて実験を行いデータセットの有用性を検証している.

図 1 BioVL2 データセットの概要. 図は元論文から引用.

## 3 本研究の過程

## 3.1 研究の始まり

本研究は, 私が博士 1 年のはじめに取り組み始めた研究である。私は “作業映像からの手順書生成”を大きなテーマに揭げて研究に取り組んできた (Nishimura et al. 2021). 作業動画といっ ても全ての分野を同時に検証することは難しい，私は，Web上でデータが多く, ベンチマーク データセットが整備されている料理分野 (Zhou et al. 2018; Damen et al. 2018) に焦点を絞り研究に取り組んできた。しかし, 自分の開発した手法が果たして他の分野（部品組み立てや化学実験）にも適用できるのかは不明であった。料理分野にしか適用できない手法を開発している のではないか？という疑問は絶えず頭の片隅にあったことを覚えている.

このことは指導教員である森信介教授にも何度か指摘された。「料理分野は取り組みやすいと いうことで始めた研究のはずだ. そろそろ手順化することの需要が高い別の分野で研究に取り 組むべきではないか」この言葉は当時グサッときた。図星であったからであろう，一方，新し い分野に飛び込む恐怖も覚えていた。映像から手順として生成することの需要が高い分野とし て化学実験があることは頭にあったが，どこから手をつけたら良いか（例えば，Webから映像 を収集するのか，あるいは映像を実際に撮影するのか）悩んでいた。また，料理分野と違いほと んど先行研究がない中の挑戦となる。公開されているデータセットも少なければ Web 上のデー 夕 (例: YouTube 上の映像の数）も少ない. 深層学習を用いたアプローチをそのまま適用する ことが難しい中, 自分が一から研究を行って最後まで遂行することができるのかという不安も あった。

悩んだ末に出した答えは，“考えるより先に動く”，つまり，実際に実験映像を収集してみて分析を行ってみるしかないという結論に至った。撮影を行いたい旨を森先生に相談すると, 先生 から BonBon 株式会社の荘子万能氏を紹介していただいた．荘子氏は大阪医科薬科大学の卒業生であり，我々の研究に興味を持ってくれた。そして，撮影の協力相手として氏の所属してい た研究室である大阪医科薬科大学の生理学研究室の小野富三人教授を紹介していただいた. 小野教授も我々の研究内容に興味を持っていただき，実験の撮影に対して快諾していただいた。

こうして, 我々一京都大学と大阪医科薬科大学の共同研究が始まった. 当時研究室の修士 2 年 であった迫田航次郎君と共に大阪医科薬科大学に定期的に通い撮影を行い研究を進めた。我々 の研究室は自然言語処理の研究室であり撮影に関する知識はなかったため, コンピュータビジョ ンのプロであるオムロンサイニックエックス株式会社 橋本敦史氏に協力を仰ぎ撮影のノウハウ を教えてもらいつつ撮影を進めた2。

## 3.2 実験映像の撮影を経て得られた知見

撮影を行っていく中で，料理分野では見られなかった観察も多々得られた。 そのうちの $1 \supset$ に物体の性質の変化に伴う見た目の変化がある。作業を行っていくたびに，作業対象となる物体の性質は変化していき，時として物体の見た目にも変化が伴う。料理をもとに例を挙げよう. カレーを作る際にじゃがいもは生の状態から皮を剥かれ，切られ，鍋に入れられといったよう に，じゃがいもの持つ性質は人の操作によって変化する。そして，この過程でじゃがいもの見 た目も生の状態から操作を経て大きく变化していく3

料理分野との大きな違いは, 化学実験において, 性質の変化に伴って見た目の変化が伴わな い点にある。これは，対象とする物体は液体であることが多く，チューブに入れて操作をする ためである。チューブに試料を入れて操作をするため，液体の化学的性質は変化していても見 た目を手がかりに試料の性質を認識することはできない。また，異なる試料に同じチューブを 利用しているため，チューブの違いから試料を区別することも難しい。こうした機械的には区別することがほとんど不可能な認識をどう行っているのか？ 撮影に協力いただいた奥田奈津子氏に尋ねると，「チューブのふたに小さい文字を書いて何の試料が入っているのかを区別して いる」との回答を得た。この回答をもとに，QRコードをチューブに貼ってしまったら良いの ではないかと閃いた。このアイデアは BioVL2 データセットにおいては未検証であるが，現在進行形の後続研究にて QR コードを実験機材に貼って撮影することで実験中に登場する物体の 識別が可能な新たなデータセットを構築する取り組みを進めている.

これらのアイデアは実験映像を撮影することでしか得られなかったであろう．新しい分野に 足を踏み入れるとき重要になるのは，その分野について深く知ることである。こうした知識は すぐに手に入るものではなく，実際の現場に赴くほかにない。今後も新たな分野に挑んでいく 時は需要を頭で考えるだけでなく, 体を動かして一つまり, 現場の声を聞いたうえで研究開発 を行っていきたい.

## 3.3 論文誌への投稿と今後について

BioVL2 の初期バージョンに当たる BioVL データセットはコンピュータビジョンの国際会議である 2021 年の International Conference on Computer Vision (ICCV2021)の併設のワーク ショップである Closing the Loop Between Computer Vision and Natural Language Processing (CLVL2021)にて発表を行った (Nishimura et al. 2021).その後, ワークショップを経て頂いた フィードバックをもとに映像データの追加と映像からプロトコルを生成する実験を行って論文誌へ投稿した，査読ではデータセットの有用性を高く評価していただき，論文の主張を明確に

するための沢山の改善コメントを頂いた．多くの人のフィードバックを経てこの研究をひと段落終えることができ著者として感無量である。

一方でこの研究にはやり残した課題も多い.データセットの量も限られているし, 実験の種類も生化学実験における基礎的なものを収録しており，研究者たちが普段行う実験とは大きく 異なる。そのため，再現性の改善のために現場に導入する上で実用とは程遠い.今後も研究を 重ね，科学の再現性に真に寄与するであろう技術を開発していきたい.

## 4 おわりに

本稿では, “BioVL2 データセット: 生化学分野における一人称視点の実験映像への言語アノ テーション"の研究の経緯について記したものである。新たな分野に飛び达むに至った経緯や,現場に赴き実験を実際に撮影することで得られた知見，そして今後の発展について述べた。

この研究は多くの協力者に参加していただき実現できたものである。みんなの力で取れた賞 たと心の底から思う。協力して頂いた共著者の方々と本論文を高く評価して頂いた編集委員の 皆様に感謝の意を表する。また, 実験の撮影に協力してくれた大阪医科薬科大学 生理学教室の 研究員の方々と有益なコメントをくだっった查読者の皆様にも感謝を申しけける.

## 参考文献

Baker, M. (2016). "1,500 Scientists Lift The Lid on Reproducibility." Nature, 533, pp. 452-454.

Bojanowski, P., Lajugie, R., Grave, E., Bach, F., Laptev, I., Ponce, J., and Schmid, C. (2015). "Weakly-supervised Alignment of Video with Text." In Proceedings of ICCV, pp. 4462-4470.

Damen, D., Doughty, H., Farinella, G. M., Fidler, S., Furnari, A., Kazakos, E., Moltisanti, D., Munro, J., Perrett, T., Price, W., and Wray, M. (2018). "Scaling Egocentric Vision: The EPIC-KITCHENS Dataset." In Proceedings of ECCV, pp. 753-771.

Naim, I., Song, Y., Liu, Q., Kautz, H., Luo, J., and Gildea, D. (2014). "Unsupervised Alignment of Natural Language Instructions with Video Segments." In Proceedings of AAAI, pp. 1558-1564.

Naim, I., Song, Y. C., Liu, Q., Huang, L., Kautz, H., Luo, J., and Gildea, D. (2015). "Discriminative Unsupervised Alignment of Natural Language Instructions with Corresponding Video Segments." In Proceedings of NAACL, pp. 164-174.

西村太一, 迫田航次郎, 牛久敦, 橋本敦史, 奥田奈津子, 小野富三人, 亀甲博貴, 森信介 (2022). BioVL2 データセット：生化学分野における一人称視点の実験映像への言語アノテーショ ン. 自然言語処理, 29 (4), pp. 1106-1137. [T. Nishimura (2022). BioVL2: An Egocentric

Biochemical Video-and-Language Dataset. Journal of Natural Language Processing, 29 (4), pp. 1106-1137.].

Nishimura, T., Hashimoto, A., Ushiku, Y., Kameko, H., and Mori, S. (2021). "State-aware Video Procedural Captioning." In Proceedings of ACMMM, pp. 1766-1774.

Nishimura, T., Hashimoto, A., Ushiku, Y., Kameko, H., Yamakata, Y., and Mori, S. (2020). "Structure-aware Procedural Text Generation from an Image Sequence." IEEE Access, 9, pp. 2125-2141.

Nishimura, T., Sakoda, K., Hashimoto, A., Ushiku, Y., Tanaka, N., Ono, F., Kameko, H., and Mori, S. (2021). "Egocentric Biochemical Video-and-Language Dataset." In Proceedings of CLVL, pp. 3129-3133.

Ushiku, A., Hashimoto, H., Hashimoto, A., and Mori, S. (2017). "Procedural Text Generation from an Execution Video." In Proceedings of IJCNLP, pp. 326-335.

Zhou, L., Xu, C., and Corso, J. J. (2018). "Towards Automatic Learning of Procedures From Web Instructional Videos." In Proceedings of AAAI, pp. 7590-7598.

## 略歴

西村 太一：2019 年九州大学芸術工学部卒業, 2020 年京都大学大学院情報学研究科修士課程修了. 現在同大学博士課程. 修士 (情報学)、マルチメディア,自然言語処理, コンピュータビジョンの研究に従事. 学術振興会特別研究員 (DC1).


# 金融・経済ドメインを対象とした言語処理の新展開

坂地 泰紀†

## 1 はじめに

近年, 機械学習手法や言語処理技術が高まってきたことを背景に, これらの技術を様々なド メインに適用しようとする流れが加速している。そのような中, 金融・経済ドメインを対象に した研究が数多く発表されるようになり, 決算短信, 有価証券報告書, 株主招集通知, 経済新聞記事といった金融・経済ドメインの文書（金融テキスト）を自然言語処理により自動的に分析し，経済分析や投資先の選定に利用しようとするなど，各証券会社や銀行もこれらの技術を 取り入れ始めた.

金融の業務において，これらの金融テキストの分析は，従来は人手により行われてきた。し かし, 金融テキストの量は膨大であり, それらの分析には多大は労力と専門的な知識を要する.例えば，決算短信は決算期にもなると 1 日に数百と公開される。そして，決算内容を分析する ためにそれらを素早く読み，把握する必要があるが，それを自然言語処理を用いて支援すること ができれば，業務の効率化に寄与することができる。 さらに，近年では個人投資家をサポート するような技術や証券，銀行，投資信託運用会社といった金融機関での業務支援だけではなく， オルタナティブデータとしてテキストを利用し，経済指標を作成しようとする流れが強まって いる。しかしながら，まだ解決すべき課題が多く残されていることから，さらなる技術開発が 望まれているのが現状である。これらの背景を鑑みて, 我々は, 2020 年 3 月に開催された言語処理学会第 26 回年次大会 (NLP2020) において, テーマセッションの一つとして「金融・経済 ドメインのための言語処理」を提案した．本セッションでは，想定を超えて 14 件もの発表があ り，金融・経済ドメインを対象にした言語処理技術への注目が加速しているのを確認した.

そして, 2023 年 3 月に開催された言語処理学会第 29 回年次大会 (NLP2023)において, 3 年ぶ りに，テーマセッション「金融・経済ドメインのための言語処理」を再び提案した．前回を超 える 15 件の発表があり，前回に引き続き，金融・経済ドメインを対象にした言語処理が注目さ れている. 特に今回は, 日本取引所グループ (JPX) や日本銀行, さらに経済学者から発表もあ り, 分野融合が進んでいることが確認できた。本稿では, 最近の動向に加え, テーマセッショ ンで発表された研究をいくつか紹介する.

## 22020 年以降の国内外の動向

本節では，近年の金融・経済ドメインを対象とした言語処理の動向を記述する，金融・経済 を対象にした言語処理の国内での研究は, 主に人工知能学会において発表されている。人工知能の分野において，金融・経済に対する言語処理は金融テキストマイニングと呼ばれており，金融分野と情報分野の融合を目指した研究会である金融情報学研究会 (SIG-FIN) 1 での発表が多 く, こちらの動向を紹介したい. こちらは, 言語処理学会第 26 回年次大会時のテーマセッショ ンに関して執筆させて頂いた解説記事 (坂地 他 2020) で報告させて頂いた内容の続報となる.

金融情報学研究会は, 人工知能学会第 2 種研究会「ファイナンスにおける人工知能応用研究会 (SIG-FIN)」として，2008 年 9 月に第一回が開催された。その後, 2013 年 10 月に行われた 第 11 回研究会より, 金融情報学研究会に名前を変え, 今に至っている。近年, 実務者からの発表, もしくは, 大学との共同研究の成果を共著者に入る形で発表されることが増えてきたこと から, 最近の 8 年間での金融情報学研究会における発表数と, 第一著者が企業所属者である発表数, 共著者に企業所属者が入っている発表数を推移を図 1 に示す.

図 1 において，金融情報学研究会は年 2 回の研究会を開催していることから, 各年において 2 回ずつカウントしている ${ }^{2}$. 前回報告時は第 24 回までであったかが, 以降の 3 年間で第 30 回 まで開催されたことから, 第 13 回から第 30 回までの数値を示している. 図 1 より, 増減はあ るものの, 発表数は増えている傾向にあり, また, 企業所属者が共著や筆頭に入っている発表

図 1 金融情報学研究会における発表数の推移

の割合も増加傾向にある。この図から，金融系企業からの，この分野に対する期待が前回報告時から継続していることを確認できる。また，金融・経済における言語処理に関する発表数の 推移を図 2 に示す.

図 2 より，徐々にであるが，言語処理に関する発表件数も増加傾向であり，近年は安定的な 発表件数となっている。このことより，金融・経済分野における言語処理が根付いてきたこと を示唆している。

また，国際的な動向として，前回記事で紹介した国際ワークショップの最新動向を紹介する. Financial Technology and Natural Language Processing (FinNLP) ${ }^{3}$ が引き続き開催されており, 2023 年開催の International Joint Conference on Artificial Intelligence (IJCAI) ${ }^{4}$ においても他の ワークショップと合同ではあるが開催予定となっている. Economics and Natural Language Processing (ECONLP) ${ }^{5}$ は, 2021 年の Empirical Methods in Natural Language Processing (EMNLP) のワークショップとして開催された. 残念ながら, 以降は開催されていない. Knowledge Discovery from Unstructured Data in Financial Services (KDF) ${ }^{6}$ においても, 2022 年の AAAI のワーク ショップとして開催され，継続してAAAIのワークショップとして開催されている. Financial Narrative Processing Workshop (FNP) ${ }^{7}$ は, 2022 年の LREC のワークショップとして開催され た. 上記のように，多くの国際会議ワークショップが継続して開催され，金融・経済分野にお

図 2 金融情報学研究会に打ける言語処理に関する研究の発表数
^{3}$ https://sites.google.com/nlg.csie.ntu.edu.tw/finnlp-2022/

4 https://ijcai-23.org/

5 https://lt3.ugent.be/econlp/

6 https://aaai-kdf.github.io/kdf2022/

7 http://wp.lancs.ac.uk/cfie/fnp2022/
}

ける言語処理が国際的にも根付いてきたと考えられる.

## 3 テーマセッションにおける研究動向

NLP2023 のテーマセッション「金融・経済ドメインのための言語処理」において発表された 15 件の研究の中から，2つの研究を紹介する．1つ目は, 野村アセット株式会社の高野らの発表 である「中央銀行の要人発言に対するタカ・ハト極性付与タスクの検討」(高野他 2023)を紹介 する。本研究は, 連邦準備制度 (Federal Reserve System, 以降 Fed）を対象に, Fed 要人の発言 がタカ派的発言なのか，ハト派的発言なのかを分類するタスクを解くために，否定表現や発言時の経済状況，さらに時間軸情報を加味しないと，十分な性能が得られないということを提言 する内容であった．ここで，夕カ派とは，物価の安定を重視し金融引き締め的な政策を支持す る人のことを指し, 逆に景気刺激に前向きで金融緩和的な政策を支持する傾向がある人のこと をハト派という。通常の極性分類とは異なり, 経済的条件を理解しないといけない金融・経済分野特化の極性分類問題となっており, 今後の発展が望まれる研究となっている。また, 質疑応答の中で, 本テーマセッションの提案者でもある東京大学大学院経済学研究科の新谷教授か ら, 興味深い研究で経済学的にも価値があり, 今後の発展が望まれるとのコメントがあったこ とから, 言語処理分野だけではなく, 経済学的な観点からも重要なタスクであることが分かる.

2 つ目は, 日本銀行の金田らの発表である「BERT と因果抽出を用いた気候変動ナラティブ の可視化/指数化」(金田, 坂地 2023$)$ を紹介する.こちらは, 気候変動を対象に新聞記事から 因果抽出を用いてトピック間つながりの強さ（ナラティブ）を求め, これを指数化・可視化す る研究となっている。近年, 気候変動に伴うリスクが向上していることから, 日本銀行におい ても気候変動に伴うリスクを把握しておくことは重要であり，それを言語処理技術を用いて可視化す研究となっている. 本研究は, 今まで可視化できていなかった気候変動ナラティブを 可視化できるようになったという点が新しく, 他の経済事象も本手法を用いて分析可能なこと から応用可能性も高く, 今後の発展が期待できる。

## 4 まとめ

本稿では, 2020 年の解説記事後の金融・経済を対象にした言語処理の動向やテーマセッショ ンで発表された研究を紹介した．国内では，金融テキストマイニングの研究発表が引き続き盛 んに発表されていることを示した. 国際的な動きとしては，金融・経済を対象にした言語処理 に関連する国際ワークショップが継続して大きな国際会議で開催されていることを確認した。 テーマセッションで発表された研究では, 経済学者や実務家が期待するような分析が進められ ており，言語処理と経済学の分野融合が進んでいることが示された，今後は，それぞれの分野

の専門家が協力しながら，「金融・経済ドメインを対象とした言語処理」の発展を促していくと 期待できる.

## 謝 辞

本テーマセッションの提案者は次のとおりです（敬称略, 所属は大会時)。坂地 泰紀 (東京大学), 酒井浩之 (成蹊大学), 和泉潔 (東京大学), 高村 大也 (産業技術総合研究所), 新谷 元嗣 (東京大学), 木村 泰知 (小樽商科大学), 中川 慧（野村アセットマネジメント）, Chung-Chi Chen (産業技術総合研究所)。本稿で紹介した研究の一部は, JSPS 科研費 JP21K12010 と, JST さきがけ JPMJPR2267 の助成を受けたものです.

## 参考文献

金田規靖, 坂地泰紀 (2023). BERT と因果抽出を用いた気候変動ナラティブの可視化/指数化. 言語処理学会第 29 回年次大会 (NLP2023), pp. 2714-2719. [N. Kaneda and H. Sakaji (2023). BERT to Inga Chushutsu wo Mochiita Kiko Hendo Naratibu no Kashika/Shisuuka. The Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 2714-2719.].

坂地泰紀, 和泉潔, 酒井浩之 (2020). 金融・経済ドメインを対象とした言語処理. 自然言語処理, 27

(4), pp. 951-955. [H. Sakaji et al. (2020). Language Processing for Finance and Economics. Journal of Natural Language Processing, 27 (4), pp. 951-955.].

高野海斗, 内藤麻人, 長谷川直弘, 中川慧 (2023). 中央銀行の要人発言に対する夕カ・ハト極性

付与タスクの検討. 言語処理学会第 29 回年次大会 (NLP2023), pp. 2442-2447. [K. Takano et al. (2023). Chuo Ginko no Yojin Hatsugen ni taisuru Taka $\cdot$ Hato Kyokusei Fuyo Tasuku no

Kento. The Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 2442-2447.].

## 略歴

坂地 泰紀：2012 年 豊橋技術科学大学大学院工学研究科博士後期課程電子・情報工学専攻修了. 博士（工学）。2012 年 株式会社ドワンゴ入社. 2013 年 成蹊大学理工学部情報科学科助教. 2017 年 東京大学大学院工学系研究科シス テム創成学専攻助教を経て, 2018 年より同特任講師.

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# NLP2023 テーマセッション「ことばの評価と品質推定」
## 1 はじめに

2010 年代後半以降の計算機による言語生成技術の進展には目を見張るものがある. 特に 2020 年前後から急速に発展した大規模事前学習モデルは, 巨大な生テキストデータと大規模化を続 ける計算資源を背景にモデルサイズの増大と応用タスクでの性能向上を続けている。 2022 年 11 月に公開された ChatGPT や続いて 2023 年 3 月に公開された GPT-4 は広く世間一般への認知 も高まり，いよいよ計算機による言語生成が身近なものとして拡がる兆しを見せつつある。こ うした背景から，今後は社会全体での「ことば」に関する “生産性”が大きく向上していくこと が見込まれる。これまでの社会ではともすると人間が発する「ことば」と計算機が生成する「こ とば」という二項対立に近い扱いであったものが，計算機の力を借りて人間が紡ぐ「ことば」， もしくは人間が指示を与え計算機が代弁する「ことば」，が無視できない存在になるであろう. そのような時代の到来を見据え，コミュニケーションや記録，そして思考の媒体である「こと ば」を正しく用いることは，「ことば」による相互理解の質の担保のためにますます重要性を増 していくと考えられる。

自然言語処理においてはこれまで人間が産出する「ことば」を対象とした小論文等の採点, 計算機が生成する「ことば」を対象とした機械翻訳や自動要約等の採点, の双方が扱われてきた.前者においては言語習熟度や文章構成能力といった観点，後者においては原文や参照文との同義性の観点が重視される傾向にあったと言える。この違いは小論文と翻訳や要約との目的の違 いによるものであるとともに，後者においてはそもそも計算機が生成する「ことば」の品質が 低かったために，高次の品質よりも「ことば」としての自然さや伝達内容の “正解率”，ともす れば表層の一致率のような比較的低次の品質を問わざるを得なかったことの表れでもある．筆者らは, 先に述べたような言語生成技術の進展を受け, 計算機の言語生成においても今後より 高次の品質が問われることを見据えて，人間か計算機かを殊更に問わず，幅広く「ことば」の 品質を問うための議論の場として, テーマセッション「ことばの評価と品質推定」を企画した.以下本稿ではセッションの内容と，セッションでの議論を受けた筆者らの見解について述べる.

## 2 テーマセッションの内容

本テーマセッションは, ある目的で生み出されたことばが的確であるか, 有用であるか, を評価あるいは推定するという課題に着目し, そのための技術やノウハウ, 実用上の課題, 新たな応用の可能性等を幅広く議論し, 知見の共有と今後の更なる発展に繋げることを狙うものである.企画としては, 前回 NLP2022 のテーマセッション『文章の評価と品質推定』, 前々回 NLP2021 のワークショップ『文章の評価と品質推定～人間・機械の「作文」の巧拙をどう見極めるか?〜』(須藤 他 2021), に続くものである¹.

本テーマセッションでは, 9 件の一般発表と最後短時間の総合討論を行った.

## 2.1 一般発表

一般発表の話題は様々な言語生成タスクに対し横断的に自動評価・品質推定を行うもの (星野, 張 2023; 野口，梶原 2023), 計算機が生成する「ことば」を自動評価するもの (山中, 徳永 2023; 黒田他 2023), 人間が産出した「ことば」を自動評価するもの(新保 他 2023; 李 他 2023),通訳と翻訳の評価観点の違いを問うもの(蒔苗他 2023), 個々の生成結果ではなくモデルの生成傾向を分析するもの (Anantaprayoon 他 2023)，異なる情報媒体に対する人間の情報消化効率を 分析するもの (小池, 早矢仕 2023) と多岐に渡った. 既存の共通タスク等のデータに基づて性能改善を目指したり別視点からの分析を与えるものがおよそ半数, その他は独自に評価データ セットを作成して新たな観点で評価の課題に取り組んたものであった. なお，テーマセッショ ンでの発表以外でもいくつか関連する内容について扱った研究発表がプログラム内に見られた。

本大会では口頭での質疑時間が限定的だったこともあり, Slackでの質疑へも誘導する形で セッション中の議論を行った．Slackでの質疑は発表内容により多少の濃淡はあったものの，才 ンライン参加者も含め活発に行われた。いわゆる質問だけでなく, 感想や雑談という形で意見 や情報が共有されたり, 関係する論文が提示できたり, 発表間の関係を活かし，記録を残すと いう面でも有益であった.

## 2.2 総合討論

総合討論では会場および Slack で質疑応答を行った. 大きくは人間の書いた文章に関する評価に対する話題と，機械的に生成された文章に関する評価に関する話題について議論し，以下 のような課題が提起された。総合討論の時間が短く議論が深められなかった面はあったが, こ れまでの評価や品質推定の枠組みにとらわれず新たな試みが今後行われることを期待したい.

- 大前提として, 何のため, 誰のための評価をするのかということが重要であって, 万能 のものはない

-そもそも評価は一次元ではなく，正確さ，用語の的確さ，流暢さ等多面的に捉えるべき ものではないか
- 難易度という尺度も単純ではなく，母語話者と第二言語学習者では違いがあることもある
- ChatGPT 等機械が生成することばは当たり障りがない一方, 人間の作文は個々人の特徵やクセ等の尖った部分があることで面白さに繋がっている面があるため, 同じように 評価すべきかは自明でない

・評価は改善の指針にもなり得るはずで，フィードバックも含めて役立てるべき

## 3 議論

## 3.1 人間の「ことば」の評価と計算機の「ことば」の評価の関係

今回のテーマセッションに至る一連の企画において筆者らが重視してきたのは, 人間が産出 する「ことば」と計算機が生成する「ことば」の評価で知見を共有することであった. 人間の 「ことば」に対する評価は，短文記述問題の回答評価のように正解があるものに限らず，課題に 対する自由作文で文章構成力や言語習熟度を問うものや, 知識を総動員させた上で論述力を問 うものもあり，非常に多様である．かたやこれまでの計算機の「ことば」に対する評価は，機械翻訳の評価に代表されるように，正解との内容の一致度を測るものであることが多かった.

今後計算機が生成する「ことば」の活用が拡がっていくにつれて, 応用に応じた多様な評価 が必要となることは間違いない. それに伴うある応用においてどのような「ことば」が求めら れているのか, というタスクの定式化, 評価観点や尺度の規定, 検証のためのデータの整備等 が今後の重要な課題と言えるだろう。そして，人間が産出する「ことば」に対して教育や能力評価の観点で行われてきた様々な評価の知見が活用されることが期待でき，協働が望まれる.

## 3.2 大規模言語モデル時代の「ことば」の評価

もう一つ議論すべきこととして, 大規模言語モデルによる「ことば」の “生産性” の向上が挙 げられる。「ことば」の評価や品質推定の観点でも, 人間が産出する「ことば」, 計算機が生成 する「ことば」に加え, 大規模言語モデルの支援を受けた人間が創出する「ことば」が対象に 加わる.「ことば」の品質を問うことの重要性はさらに高まると言ってよいであろう.

ここで, 言語モデルに基づく「ことば」の生成とその評価に関して, 以下を考えてみる。言語 モデル尤度の高い生成文に対して人間が修正という“摂動”を加えたとして, 修正後の文のほう が「ことば」として望ましい，と安定して評価するためには何が必要たろうか？さらに，「こと ば」の “生産性” が今後より向上し, 言語モデルが “平均的” な「ことば」の用法に大きく寄与

するようになったとしたら, 人間の「ことば」の尖った部分はどう扱われるべきなのだろうか？

何かを「ことば」で伝えようとすると，話し手・書き手の意図やその時々の状況等，様々な条件に応じた実行可能解としての「ことば」の表現が許容されるはずである。このような様々な 条件は ChatGPT 等の仕組みではプロンプトとして制御ができるようになったと考えることも でき，以前に比べれば格段に豊かな表現が得られるようになったのかもしれない．たた，現在我々が扱っている「ことば」の評価や品質推定の枠組みはまたその見極めには至っていないと考 えられる。昨今の評価・品質推定の研究では BERT 等の（広義の）事前学習言語モデルがよく 用いられるが 2 , これを非常に単純に捉えると，生成と評価の両面で同様のモデルを利用する状況にあるとも言える。「ことば」の品質を一定程度保証する仕組みとしての言語モデルの有効性 を活かしつつ，それのみに留まらない本質的な「ことば」の品質を問う必要があると言えよう.

また，計算機による「ことば」の生成技術や創出支援技術の検証のために評価が果たす役割 は大きい。言語モデルの多様性と，研究の再現性の担保のための透明性の高いモデルの利用は トレードオフの関係にあり，個々の言語モデルに関する知見と言語モデルを横断する知見を区別して蓄積することが, 自然言語処理コミュニティとして必要なことであろう.

## 4 おわりに

本稿では, NLP2023 テーマセッション「ことばの評価と品質推定」について簡単に報告し, それを受けた筆者らの見解を述べた。一口に「ことば」の評価と言ってもその範囲は広く，以前のワークショップ・テーマセッションでなかった新たな観点の研究発表もあり, 今後も更に 拡がりを見せることが期待される内容であった。冒頭に述べた通り，今後「ことば」を取り巻 く情勢は大きく変化し, それに伴ってその評価に求められるものも急速に変容していく可能性 が高い，そうした中，様々な場面・用途・対象で用いられる「ことば」の品質を評価・検証す る仕組みを構築し，また維持することは自然言語処理の重要な役割であると考える．本テーマ セッションおよび本稿が参加者や読者の興味を喚起することに繋がれば幸いである.

## 謝 辞

本テーマセッションおよび年次大会の開催にあたりご尽力くださった大会各委員会の皆様, テーマセッションを盛り上げていただいた発表者および参加者の皆様に感謝する。また本寄稿 の機会をくたさった編集委員会の皆様にも感謝する。

## 参考文献

Panatchakorn Anantaprayoon, 金子正弘，岡崎直観 (2023). 下流タスクでの日本語事前学習 モデルの性別バイアスの評価. 言語処理学会第 29 回年次大会発表論文集, pp. 1563-1568. [P. Anantaprayoon et al. (2023). Karyu Tasuku deno Nihongo Jizen Gakushu Moderu no Seibetsu Baiasu no Hyoka. The Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 1563-1568.].

星野翔, 張培楠 (2023). 自然言語生成における夕スク横断自動評価のメ夕分析. 言語処理学会第 29 回年次大会発表論文集, pp. 1267-1271. [S. Hoshino and P. Zhang (2023). Shizen Gengo Seisei niokeru Tasuku Odan Jido Hyoka no Meta Bunseki. The Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 1267-1271.].

Kocmi, T. and Federmann, C. (2023). "Large Language Models Are State-of-the-Art Evaluators of Translation Quality." arXiv preprint 2302.14520 [cs.CL].

小池央晟, 早矢仕晃章 (2023). テキスト・画像による情報消化効率のメディア別構成因子抽出. 言語処理学会第 29 回年次大会発表論文集, pp. 1553-1556. [H. Koike and T. Hayashi (2023). Tekisuto $\cdot$ Gazo niyoru Joho Shoka Koritsu no Mediabetsu Koseiinshi Chushutsu. The Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 1553-1556.].

黒田勇斗, 藤田篤, 梶原智之, 二宮崇 (2023). 疑似訓練データに基づく機械翻訳の教師なし 品質推定. 言語処理学会第 29 回年次大会発表論文集, pp. 1283-1287. [Y. Kuroda et al. (2023). Giji Kunren Deta ni Motozuku Kikai Honyaku no Kyoshinashi Hinshitsu Suitei. The Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 1283-1287.].

李在鎬, 長谷部陽一郎，伊集院郁子，青木優子，村田裕美子 (2023)，学習者作文評価システ ム「jWriter」による習熟度と論理性の自動評価. 言語処理学会第 29 回年次大会発表論文集, pp. 1569-1573. [J. Lee et al. (2023). Gakushusha Sakubun Hyoka Shisutemu "jWriter" niyoru Shujukudo to Ronrisei no Jido Hyoka. The Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 1569-1573.].

蒔苗茉那, 須藤克仁, 中村哲, 松下佳世, 山田優 (2023). 同時通訳品質評価方法検討のための同時通訳者と翻訳者の評価比較分析. 言語処理学会第 29 回年次大会発表論文集, pp. 1277-1282. [M. Makinae et al. (2023). Doji Tsuyaku Hinshitsu Hyoka Hoho Kento no tameno Doji Tsuyakusha to Honyakusha no Hyoka Hikaku Bunseki. The Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 1277-1282.].

野口夏希, 梶原智之 (2023). 入力文と自然言語処理モデルの相性判定. 言語処理学会第 29 回年
次大会発表論文集, pp. 1288-1292. [N. Noguchi and T. Kajiwara (2023). Nyuryokubun to Shizen Gengo Shori Moderu no Aisho Hantei. The Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 1288-1292.].

新保彰人, 山田寞章, 徳永健伸 (2023). 参照例を使わないキャッチコピーの自動評価. 言語処理学会第 29 回年次大会発表論文集, pp. 1557-1562. [A. Shimbo et al. (2023). Sanshorei wo Tsukawanai Kyatchikopi no Jido Hyoka. The Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 1557-1562.].

須藤克仁, 小町守, 梶原智之 (2021). NLP2021 ワークショップ：文章の評価と品質推定〜人間$\cdot$機械の「作文」の巧拙をどう見極めるか？～. 自然言語処理, 28 (3), pp. 895-900. [K. Sudoh et al. (2021). NLP2021 Workshop: Evaluation and Quality Estimation of Text-How Do We Judge Human- and Machine-generated Text Good or Bad? Journal of Natural Language Processing, 28 (3), pp. 895-900.].

山中光, 徳永健伸 (2023). 編集操作によるデー夕拡張を用いたテキスト平易化の自動評価. 言語処理学会第 29 回年次大会発表論文集, pp. 1272-1276. [H. Yamanaka and T. Tokunaga (2023). Henshu Sosa niyoru Deta Kakucho wo Mochiita Tekisuto Heiika no Jido Hyoka. The Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 1272-1276.].

## 略歴

須藤 克仁 : 奈良先端科学技術大学院大学准教授. 2000 年京都大学工学部卒業, 2002 年京都大学大学院情報学研究科修士課程修了, 同年 NTT 入社. 2015 年京都大学博士 (情報学)。2017 年より現職. 機械翻訳を中心とした自然言語処理, 音声言語処理の研究に従事. 2018 年より理化学研究所革新知能統合研究センター客員研究員を兼務. 言語処理学会, 情報処理学会, 日本音響学会,人工知能学会, ACL, ISCA 各会員.

小町守：一橋大学ソーシャル・データサイエンス研究科教授. 2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒業. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年同研究科博士後期課程修了. 博士 (工学).同年同研究科助教. 2013 年首都大学東京 (現東京都立大学) システムデザイ ン学部准教授, 2022 年教授を経て, 2023 年より現職. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

梶原 智之：愛媛大学大学院理工学研究科助教. 2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程修了.

2018 年首都大学東京大学院システムデザイン研究科博士後期課程修了. 博士 (工学)。大阪大学データビリティフロンティア機構の特任助教を経て, 2021 年より現職. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

三田 雅人：株式会社サイバーエージェントリサーチサイエンティスト． 2016 年に奈良先端科学技術大学院大学を修了後, 日本マイクロソフトを経て, 2018 年に理化学研究所革新知能統合研究 (AIP) センターに入所. 2021 年に東北大学大学院情報科学研究科博士後期課程修了. 2022 年より現職. 東京都立大学特任助教, 理化学研究所 AIP センター客員研究員を兼任. 博士 (情報科学).言語処理学会, ACL 各会員.


# テーマセッション3：地理空間情報と自然言語処理

大内 啓樹 $\dagger$

## 1 きっかけは「おくのほそ道」

2020 年秋，仙台駅から乗った新幹線の収納ネットに「おくのほそ道」特集 ${ }^{1}$ （図 1）が置いて ありました。みちのくを旅する過程で松尾芭蕉が目にした景色や風物についての，彩り豊かな 解説が脳裏に残りました。その一年後, 2021 年夏の終わり (科研費申請の季節)，新たな研究 テーマを模索していた夜に，遠雷のような予感を伴って「おくのほそ道」を思い出しました，検索して偶然辿り着いたウェブサイト2に，紀行文の概要と実際の旅路を描いた地図がありました （図 2)，そこから「文章中の人物の移動軌跡を地図上に再現する」3という着想を得ました。

このテーマは「文章と地図をつなげる研究」のひとつと言えます. 文章と地図をつなげる試 みはこれまでも少なくありません，しかしながら，その目的やアプローチは実に多様なため，関連する論文や研究発表がいろいろな学会・媒体に点在しています。そしてなぜか，言語処理学会では関連発表がほとんどありません，そこで，地図と文章（あるいは地理と言語）に関わ

図 1 「おくのほそ道」特集

元禄2年（1689) 3月27日 9月6日 芭蕉46肯

元裸2年（1689）3月27日、芭萑は阳人曾良を伴い江戸を発ち、奥羽・北陸の各地をめ D、8月20日過ざに大垣へ着くまでの、距触約六百里 (約2,400キロ)、日数約150日にも及 ふ银旅である。旅の目的は、歌人能因や西行の足洂を斿权、歌枕や名所旧赤を探り、古人の詩心に触れようとした。芭蕉は各地を旅するなかで、永遗に变化しないものことの本質「不易 と、ひと時も停滞せず変化し続ける「流行」があることを体駸し、この両面から俳諧の本質 とらえようとする「不易流行」説を形成していく。また旅をした土地の非人たちとの交流は、 その後の蕉門形成や、紀行文『找くのほそ道小に大きな影䈉をもたらす。

図 2 紀行文概要と芭蕉の旅路

る研究発表を幅広い分野から募り,「地理と言語」に関心を寄せる研究者・実務者がみんなで話 し合える場所を作ってみたい，願わくば言語処理学会の多くのみなさまにも認知してほしいと 思い, 本テーマセッション提案へと至りました.

## 2 テーマセッションの概要

趣旨

「言語は面白く，地理も面白い．両方合わさればもっと面白い」

コロナ禍の移動行動制限やロシアのウクライナ侵攻が契機となり, 人間活動や事物・現象

を「地理空間」の観点から理解することの重要性が増している。文章として記された場合 も同様で，それらの背景を構成する「言葉の地理空間」に自然言語処理の目を向け，「実世界の地理空間」と接続することが強く望まれる。地理空間情報は地図データにとどまらず，人流データや 3D 都市空間データをはじめ多彩なデータが充実しており, GIS (Geographic Information Systems) などのデータ分析基盤も高度化している.このような状況を踏まえ，本テーマセッションでは「地理空間情報」と「自然言語処理」に関心を寄せる研究者・実務者が一堂に会する場を提供する。特に「地理」系の発表を歓迎し，今後両分野が連帯を 深める上での方向性や問題意識, 技術的課題などを広く議論する.

## 提案者

大内啓樹 $\cdot$ 進藤裕之 $\cdot$ 若宮翔子 - 松田 裕貴 (奈良先端科学技術大学院大学), 東山翔平 (NICT/奈良先端科学技術大学院大学), 井之上直也 (北陸先端科学技術大学院大学), 久本空海西尾悟 - 井口奏大 (MIERUNE), 大西拓一郎 - 小木曽智信 - 高田智和（国立国語研究所）,高田祐一 $\cdot$ Yanase Peter (奈良文化財研究所), 齋藤玲 (東北大学災害科学国際研究所), 新妻巧朗（朝日新聞社メディア研究開発センター), 坪内孝太 (Yahoo! JAPAN 研究所), 上原康仁（株式会社地球の歩き方), 乾孝司 (筑波大学), 石野亜耶 (広島経済大学)

## 3 会場の様子

本会議最終日の 3 月 16 日, 全 3 セッション, 13 件の発表（+総合討論）がありました. 発表内容は，言語，地理，人流，文化財，災害，天候，画像など幅広い領域が交差しており，多彩 な展示物のある博物館のような場となりました。当日の会場には 30-40名の聴講者が集まりま した. オンライン視聴にも，第 1 セッションで 30 名前後, 第 $2 \cdot 3$ セッションで 50 名前後（最大で 60 名程）の方々が集まりました. 大会 Slack のテーマセッションチャンネルには 130 名が 参加しました. 常時さまざまなコメントや質問が溢れ, 4 時間で 300 件を超える（1 分 1 投稿を 超えるペースの）投稿がありました.

## 3.1 文章と地図をつなげるためには？

文章と地図をつなげるための基盤技術である「ジオコーディング」についての発表がありま した. ジオコーディングとは，住所や施設名といったテキストによる「場所参照表現」を入力 とし，「位置情報（地理座標）」を出力する処理です。主に 2 種類の方法に大別されます（図 3). 1 つめの方法は, 図 3 の Aのように, 「札幌」という地名を入力として, その位置情報（経緯度）を直接出力します。もう1つの方法は, 図 3 の B のように, まず地図データベースの識別子（ここでは「札幌」のID）と紐付けを行い，次にその識別子に付随する属性としての位置情報を出力します。(久本他 2023)では, 両者の利点・欠点などを詳しく解説し, さらに現在利用可能なジオコーディングのリソース・データ・サービスを網羅的に調査しています。文章と 地図をつなげたい研究者・実務者にとってとても良い入口になると思います。また，(大西他 2023; 大野他 2023)でもジオコーディングについての試みが発表され, 質疑応答も含めて非常 に盛り上がりました，関連して，(陰山，乾 2023)では，地理的特定性（場所の特定しやすさ） に取り組んでいました。「横浜」は日本に複数箇所ありますが,「神奈川県横浜市」を指すこと が多いといった「名称の占有性」に関する分析で, とても興味深い内容でした.

## 3.2 大規模言語モデルの多様な活用法

昨今話題の大規模言語モデルの話題もありました. (小林 他 2023) では, 人の移動行動を言語モデル (GPT-2) でモデル化し, 建物分布予測器と組み合わせることで人流予測性能を改善し ています。言語処理の研究者・実務者にとって，移動データに言語モデルを適用する点がとて も新鮮で盛り上がりました。(Sharma and Tsuruoka 2023)では，ChatGPT4を使用して，地球表面の地物を写した衛星画像のキャプション生成に取り組んでいます。非常に流暢な文で衛星画像を言い表しており，今後のさらなる可能性を感じさせる発表でした。

図 3 ジオコーディングの概略図 (久本 他 2023)
^{4}$ https://openai.com/blog/chatgpt
}

## 3.3 多彩な応用

本テーマセッションの特徴のひとつが「多彩な応用」です. (Kāle and Rikters 2023)では「食 と天候」, (近藤 2023) では「方言」，(高田他 2023) では「文化財・遺跡」，(齋藤他 2023)では 「災害・防災」を主題として扱っていました。（川端他 2023）では，自身の位置や向きに基づく 相対位置をことばで表現する方法論を探究しており, 自動運転, カーナビ, スポーツ実況など,多様な応用先が考えられる発表でした.

## 3.4 総合討論

第 3 セッションでは, 後半 35 分程度の「総合討論」を設けました．松田耕史さん (LINE), 小木曽智信さん (国立国語研究所), 新妻巧朗さん（朝日新聞）の 3 名に登壇していただきました.松田さんからは, ジオコーディングのためのオープンなデータの必要性や,「地図の Wikipedia」 と呼ばれる OpenStreetMap5 について話題提供いたたきました，小木曽さんからは，日本語歴史 コーパス 6 や, 古文書, 古地図についてご紹介いただき，歴史的な文書や地図を研究対象とする 面白さがとても伝わる内容でした。新妻さんからは，ジャーナリズムと地図に関する話題をご 紹介いただきました．特に「アーバン・ベア」と呼ばれる都市型のクマを分析するため，クマ の出没地点と人口密度を地図上に可視化したサービス 7 の紹介で大いに盛り上がりました. 現地会場の多くの方々からも質問やコメントがあり, とても活発に議論ができました.

## 4 今後の継続的な発展のために

この刺激的な領域での連携を促進するため, Slackワークスペース「Geography \& Language $\rfloor^{8}$ を用意しました，今後もさらなる議論や，情報の共有, 勉強会の開催などをやっていく予定で す.ご興味ある方はhiroki.ouchi@is.naist.jp までご連絡いただければ参加リンクをお送り いたします。広く多くの方々のご参加をお待ちしておりますので，お気軽にご連絡ください.

## 謝 辞

本テーマセッションの共同提案者の皆さまには，多大な協力をいただいたことを深く感謝い たします。また，言語処理学会年次大会の委員の方々にも，このような貴重な機会いたたいた ことを改めて感謝いたします。

## 参考文献

久本空海, 西尾悟, 井口奏大, 古川泰人, 大友宽之, 東山翔平, 大内啓樹 (2023). 場所参照表現と位置情報を紐付けるジオコーディングの概観と発展に向けての考察. 言語処理学会第 29 回年次大会発表論文集, pp. 2645-2650. [S. Hisamoto et al. (2023). Basho Sansho Hyogen to Ichi Joho wo Himozukeru Jiokodingu no Gaikan to Hatten ni Muketeno Kosatsu. Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 2645-2650.].

陰山宗一, 乾孝司 (2023). 位置属性を有しない事物に対する地理的特定性の分析. 言語処理学会第 29 回年次大会発表論文集, pp. 2661-2665. [S. Kageyama and T. Inui (2023). Ichi Zokusei wo Yushinai Jibutsu ni Taisuru Chiriteki Tokuteisei no Bunseki. Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 2661-2665.].

Kāle, M. and Rikters, M. (2023). "What Food Do We Tweet about on a Rainy Day?" In Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, p. 2375-2380.

川端良子, 大村舞, 浅原正幸, 竹内誉羽 (2023). Double cross model による位置情報フレームア ノテーション. 言語処理学会第 29 回年次大会発表論文集, pp. 2655-2660. [Y. Kawabata et al. (2023). Double cross model niyoru Ichi Joho Furemu Anoteshon. Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 2655-2660.].

小林亮博, 武田直人, 山崎悠大, 上坂大輔 (2023). 建物分布の変化を考慮したGPT- 2 を用いた人流予測のための一検討. 言語処理学会第 29 回年次大会発表論文集, pp. 2386-2391. [A. Kobayashi et al. (2023). Tatemono Bumpu no Henka wo Koryo shita GPT-2 wo Mochiita Jinryu Yosoku notameno Ichikento. Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 2386-2391.].

近藤泰弘 (2023). 単語音素のベクトル化による言語地図作成. 言語処理学会第 29 回年次大会発表論文集, pp. 2381-2385. [Y. Kondo (2023). Tango Onso no Bekutoruka niyoru Gengo Chizu Sakusei. Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 2381-2385.].

大野けやき, 西村太一, 龟甲博貴, 森信介 (2023). テキスト中の場所表現認識と係り受けに基づく 緯度経度推定ツールの開発. 言語処理学会第 29 回年次大会発表論文集, pp. 2666-2671. [K. Ohno et al. (2023). Tekisutochu no Basho Hyogen Ninshiki to Kakariuke ni Motozuku Ido Keido Suitei Tsuru no Kaihatsu. Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 2666-2671.].

大西駿太朗, 矢田竣太郎, 若宮翔子, 荒牧英治 (2023). ツイート発言の座標またはグリッド の予測基盤の開発. 言語処理学会第 29 回年次大会発表論文集, pp. 2398-2402. [S. Onishi
et al. (2023). Tsuito Hatsugen no Zahyo mataha Guriddo no Yosoku Kiban no Kaihatsu. Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 2398-2402.].

大友寞之, 東山翔平, 大内啓樹, 山本和太郎, 井手佑翼, 進藤裕之, 渡辺太郎 (2023). 旅行記中の 場所に対する訪問状態の予測. 言語処理学会第 29 回年次大会発表論文集, pp. 2925-2930. [H. Otomo et al. (2023). Ryokokichu no Basho ni taisuru Homon Jotai no Yosoku. Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 29252930.].

大内啓樹, 進藤裕之, 若宮翔子, 松田裕貴, 井之上直也, 東山翔平, 中村哲, 渡辺太郎 (2023). 地球の歩き方旅行記データセット. 言語処理学会第 29 回年次大会発表論文集, pp. 2920-2924. [H. Ouchi et al. (2023). Chikyu no Arukikata Ryokoki Detasetto. Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 2920-2924.].齋藤玲, 大内啓樹, 羽鳥康裕, 邑本俊亮, 杉浦元亮, 塩入諭, 柴山明寛 (2023). 震災アーカイブ と震災アーカイブ webに関する概念モデルの作成. 言語処理学会第 29 回年次大会発表論文集, pp. 2931-2934. [R. Saito et al. (2023). Shinsai Akaibu to Shinsai Akaibu Web ni kansuru Gainen Moderu no Sakusei. Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 2931-2934.].

Sharma, M. and Tsuruoka, Y. (2023). "Towards Unsupervised Remote Sensing Image Captioning and Retrieval with Pre-Trained Language Models." In Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 2392-2397.

高田祐一, YanasePeter, 武内樹治 (2023). 文化財報告書データベースにおけるテキスト可視化と 地理情報. 言語処理学会第 29 回年次大会発表論文集, pp. 2651-2654. [Y. Takata et al. (2023). Bunkazai Hokokusho Detabesu niokeru Tekisuto Kashika to Chiri Joho. Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 2651-2654.].

## 略歴

大内 啓樹：2015 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2018 年同博士後期課程修了. 2018 年から 2021 年まで理化学研究所 AIP センター特別研究員. 2021 年より奈良先端科学技術大学院大学先端科学技術研究科助教, 理化学研究所 AIP センター客員研究員.


# 日本語言語資源の構築と利用性の向上
一JLR2023ワークショップ

柴田 知秀 $+t+t+t \cdot$ 松田宽
## 1 はじめに

我々は言語処理学会第 29 回年次大会にて併設ワークショップ「日本語言語資源の構築と利用性の向上」を企画開催した。本ワークショップは第 28 回年次大会の「日本語における評価用 データセットの構築と利用性の向上」に引き続き， 2 回目の開催である.今回から後述するよう に事前学習モデルを含め，広く言語資源の構築と利用性を募集対象とした．前回は残念ながら オンライン開催であったが，今回はハイブリッド開催で，多くの発表者・聴講者と対面で交流 できた。様々な分野の方々に参加いただき，会場内外で活発なディスカッションが行われた.

近年の言語処理においては，辞書やテキスト・音声・マルチモーダルコーパスのみならず，事前学習モデルが研究に必要な状況である。本ワークショップでは, 事前学習モデルも言語処理 における重要な言語資源と位置づけ, 各種モデルの構築や利用についても発表を募集した。結果, 一般発表 10 件とライトニングトーク 7 件の発表が行われた.

## 2 当日の様子

以下，各セッションごとの発表を簡単に紹介する。

「日本語データセットの構築」のセッションでは 4 件の一般発表と 2 件のライトニングトークが 発表された．．新納氏は，カナ漢字混じりのテキストに対して読みを付与するタスクのためのデー タセット構築について発表した。異なる読みで実体が異なるもの・同じものなどの整理のほか,連濁の扱いの難しさについて紹介された。柴田は，日本語言語理解ベンチマーク JGLUE の整備状況について報告した，文書分類・文書ぺア分類・質問応答の構築報告のほか，Leaderboards への掲載についても議論された。浅原は, 日本経済新聞社の協力で 2023 年 3 月 13 日に公開さ

れた「日本経済新聞記事オープンコーパス」について発表した. 現在までに進めた形態・統語情報アノテーションのほか, 今後進める意味情報アノテーション・被験者実験による言語のと らえ方の収集について紹介した。富田氏は, CCGに基づくツリーバンク構築の試みとして, 項

取組について発表した。続いて戸次氏は, 日本語 CCGBank の言語学的な妥当性について紹介 した. 特に日本語の受動・使役の現象について議論した。最後に Yin Yue 氏は, 大規模な日本語音声コーパス ReazonSpeech の構築と, 同デー夕に基づく学習済み音声認識モデルについて 発表した.

「多言語・多分野の言語資源の構築」セッションでは, 3 件の一般発表と 3 件のライトニン グトークが発表された。砂岡氏は, Code Switching による多言語混在言語資源の重要性につい て発表した. 多言語混在言語データの音声認識や機械翻訳について各種ツールの比較を行った.宮本氏は, 中日対訳コーパスの構築および著作権処理について発表した. ディスカッションで はコーパスの著作権処理について活発な議論がされた。武田氏は, 教育研究・実践のための言語資源・自然言語処理にあり方について発表した。内藤氏は，コペンハーゲンからオンライン で，デンマークの言語資源の構築手法について発表した。土肥氏は, 難病・希少疾患の症例報告に基づく言語資源構築について報告した，橋田氏は，高等学校の授業の一環としてグラフ文書を構築する取り組みについて報告した。このように多言語または様々な分野における言語資源の取り組みが紹介され，言語資源構築の広がりが確認された.

招待講演として 株式会社 Studio Ousia の山田育矢先生に「知識拡張型言語モデル LUKE $\rfloor^{1}$ というタイトルでご講演いただいた. LUKE (Yamada et al. 2020), 多言語版 LUKE (Ri et al. 2022), LUKE を用いたエンティティリンキング (Yamada et al. 2022; Oba et al. 2022), 日本語版 LUKE についてご講演いただた.

「事前学習モデルの構築と利用」セッションにおいては, 3 件の一般発表と 2 件のライトニン グトークが発表された。塚越氏は, 実験プログラムの言語資源化について発表した. この取り 組みは同じ『自然言語処理』Vol. 30 No. 2 の別の学会記事にて詳しく紹介される，近藤氏は，日本語 BigBird の構築について, 事前学習時におきたトラブルとその対処方法について発表した.小林氏は, 日本語 DistilBERT ${ }^{2}$ の構築とともに, LINE NLP チームの様々な公開ツールについ て紹介した．植田氏は，日本語 DeBERTa モデル33の構築について紹介した．佐藤氏は， LINE NLPチームが整備している日本語事前学習モデル HyperCLOVA 構築時と, 実用に向けて様々 なサブシステム実装の必要性について発表した.
^{1}$ https://speakerdeck.com/ikuyamada/zhi-shi-kuo-zhang-xing-yan-yu-moderulukeにて発表資料を公開.

2 https://engineering.linecorp.com/ja/blog/line-distilbert-high-performance-fast-lightweightjapanese-language-model

3 https://huggingface.co/ku-nlp
}

## 言語処理学会第29回年次大会 併設ワークショップ \\ JLR 2023 日本語言語資源の構築と利用性の向上

## 事前アンケートで頂いた回答

## (1)日本で不足している言語資源

- 方言・対話
- 古典

- 包括的な言語理解能力を評価するデータセッ 卜. 文書読解，課題志向対話，筫問応答，要約，文法性など。

- 固有表現抽出 センテンス分類 QAなど基硞的な沉用的なデータセット

- 楼械読解、常識知識べース (ATOMIC など)、譮述解析のデータセット

- 対話コーパスの類い、とくにマルチパーティ のものや付加时なタグ（感情や対話行為な ど）を伴うものが少ないと思います。

- SNSやブログなどのテキストと画像の関係性 タグ付けしたデータセット

## その他のご意見

(2)言語資源のさらなる利活用

- 申し込み等の手続きの廃止，オープンア クセスの推進，リーダーボードの設置.

- まとめサイト

- 言語資源の存在・アクセス情報などの公開と広報. カスタマイズのための検索.統計技術の研修

- 例えば近年ではHuggingface Datasetsのよ うな、人々が言語資源を簡単に使えるよ うなプラットフォームやフレームワーク が必要だと思います。

- 著作権のクリア。30条が問題になってき ているので、別途言語モデルを作りやす くする慣習が必要になると思います - 統一なcsv jsonのフォーマット

## (3)言語資源の構築・利用の活性化方法

- APIの提供など、開発者が利用可能なシス テムの公開
- 言語資源を利用（特に産業利用）したと きに，構䇫元に報告する仕組み，または 報告の推委。
- ます、、産業と研究室、企業の協力が積極的に展開される必要があります。

・ドネーションの仕組みとかあってもいい かも?ビットコインとか?
- 研究機開以外の人 (小学生〜) が容易に 貢献できる仕組みつくく

- 著作権問題を何とかしてほしい

・テキスト生成モデルが汎用的な言語処理手法として急速に普及するなかで，包括的な言語理解能力を評価する方法論の提供は喫漚の課題である と感じている.
- 余談ですが、入口が1億人以上で世界のGDPランキングで第3位の日本にとって、現在、深届学㕷のNLP分野の研究者は全く足りていないと言 えます。もう2つ例を挙けます。公開されているNERデータセットが10個にも満たないことは非常に深刻です。アメリカや中国では考えられな い状況です。また、T5モデルは既に3年以上前に提出されていますが、日本語のT5モデルはbaseサイズしかありません。

図 1 事前アンケートでいただいた回答

最後に，河原・久保・坂口・柴田・松田によりパネル（総合討論）を行った。総合討論にお いては事前募集質問についてディスカッションを行った。言語資源のさらなる利活用について 議論がなされ，現代日本語を対象とした利用制限の少ないオープンライセンスなデータを構築 するために何が必要かが議論された。また言語資源の構築・利用の活性化方法として，適切な データ共有サービスや産学連携のあり方について議論された。さらに, 事前学習モデル・大規模言語モデルを扱う上での実践的なノウハウの共有を進めていく必要があること，テキスト生成モデルの日本語の言語理解能力を包括的に評価する方法論とデータセットの整備が急務であ ること，などについて議論された.

## 3 おわりに

提案者一同，次回年次大会でも本ワークショップを開催するとともに，様々な企業の AI 技術勉強会と合同イベントを企画したいと考えている。今後も多くのご発表・ご支援を賜りたい.

## 謝 辞

JLR2023 の開催にあたり，言語処理学会第 29 回大会委員会の皆様には多大なご支援を賜り ました。また，本イベントは株式会社 Studio Ousia・科学研究費補助金基盤研究 (A)「計算知 と人知の融合による汎用言語理解基盤の構築」・国立国語研究所共同研究プロジェクト「実証的 な理論・対照言語学の推進」との共催です.

## 参考文献

Oba, D., Yamada, I., Yoshinaga, N., and Toyoda, M. (2022). "Entity Embedding Completion for Wide-Coverage Entity Disambiguation." In Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 6333-6344, Abu Dhabi, United Arab Emirates. Association for Computational Linguistics.

Ri, R., Yamada, I., and Tsuruoka, Y. (2022). "mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models." In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 7316-7330, Dublin, Ireland. Association for Computational Linguistics.

Yamada, I., Asai, A., Shindo, H., Takeda, H., and Matsumoto, Y. (2020). "LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6442-6454, Online. Association for Computational Linguistics.

Yamada, I., Washio, K., Shindo, H., and Matsumoto, Y. (2022). "Global Entity Disambiguation with BERT." In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 3264-3271, Seattle, United States. Association for Computational Linguistics.

## 略歴

浅原 正幸：国立国語研究所・東京外国語大学教授.

河原 大輔：早稲田大学教授.

久保隆宏：アマゾンウェブサービスジャパン合同会社 Developer Relations

Machine Learning.

坂口 慶祐：東北大学准教授.

柴田 知秀：ヤフー株式会社上席研究員.

松田寛：株式会社リクルート Megagon Labs, Research Scientist.


# 言語処理学会第 29 回年次大会ワークショップ 「深層学習時代の計算言語学」

窪田 悠介†・持橋 大地 ${ }^{\dagger}$

## 1 はじめに

深層学習時代になり言語処理の性能が大きく上がりかつ柔軟になったことで, 従来は不可能 だった言語学的な研究, すなわち計算言語学の研究が可能になり, そうした研究が増え続けて いる。また, 言語学の側でもデー夕を用いた実証的な研究が必要になり, 自然言語処理による サポートの必要が無視できなくなってきている。こうした事情に鑑み, 言語処理側と言語学側 の双方から新しい時代の「計算言語学」へのアプローチを模索する目的で，ワークショップ「深層学習時代の計算言語学」を言語処理学会第 29 回年次大会において開催した. 本記事ではこの ワークショップの報告を行い, そこで得られたこの分野の今後の展望について手短に議論する.

ワークショップの提案者は自然言語処理, 言語学両分野からの以下 10 名であった. 持橋大地 (統数研), 窪田悠介（国語研）, 小木曽智信（国語研）, 大谷直輝（東京外大）, 永田亮（甲南大学), 川崎義史 (東大), 小町守 (都立大), 高村大也 (産総研), 内田諭 (九州大), 大関洋平 (東大).

## 2 開催形態

本ワークショップは, 言語処理学会第 29 回年次大会の大会ワークショップとして 2023 年 3 月 17 日に沖縄コンベンションセンターで対面と Zoom のハイブリッド方式で開催された（国立国語研究所共同研究プロジェクト「多様な語彙資源を統合した研究活用基盤の共創」「計算言語学的手法による理論言語学の実証的な方法論の開拓」と共催). 事前参加登録者数は 492 名 (う ち対面 332 名), 当日の会場の参加者は約 120 名, Zoom 接続は最大時で 181 名となった.

ワークショップのプログラムは，招待講演 1 件（鈴木久美氏（元マイクロソフト），研究紹介 13 件 (うち公募枠のもの 5 件), 午前と午後の研究発表の直後に行われた提案者のグループ によるパネルセッション 2 件, という構成だった. ${ }^{1}$
^{1}$ http://clml.ism.ac.jp/ daichi/workshop/2023-deepcl/
}

ハイブリッドでの開催形態のため, 主にオンライン参加者の利便性を図るため Slack を活用 した. 当日は会場での口頭の議論に加え Slackでの議論も非常に活発に展開され, 盛況だった. さらに，プログラム終了後, 対面会場とオンラインでの Gather のプラットフォームにより, 参加者が自由に交流・意見交換ができる時間を設けた。さまざまな方法を組み合わせることで，対面・オンライン双方の, 多様な立場の参加者に対して，ある程度柔軟に意見交換やネットワー キングの機会を提供できたと思われる.

## 3 内容

## 3.1 研究紹介

研究紹介は，大まかに言語学寄りの内容のもの 7 件を午前のセッション, 言語処理寄りのも の 6 件を午後のセッションにまとめた。発表者と題目は以下の通り。

午前セッション
- 永田亮（甲南大）「言語処理と言語学の橋渡しの面白さと難しさ」
- 大谷直輝（東京外大）「言語知識の近似値として言語モデルは利用できるか」
- 大関洋平 (東大)「深層学習時代の計算心理言語学」
- 宮川創（国語研）「消滅の危機にある言語方言のために深層学習を応用する」
- 北嵪勇帆（高知大）「自然言語処理のタスクを日本語史研究に落とし込む」
- 上田亮 (東大)「言語創発を計算言語学として位置付ける試み」
- 大羽未悠（奈良先端大）「言語モデルの第二言語獲得 - 研究のきっかけとこれから -」

午後セッション
- 内田諭（九州大）「単語分散表現から類義語を考える」
- 黒澤友哉 (東大)「DRS 意味解析における出現位置を利用した語彙数削減」
- 山崎敏正 (九工大)「Decoding single-trial EEGs during silent Japanese words by the Transformer-like model」
- 森下裕三（桃山学院大）「計量的な語の意味分析から視点と主観は捉えられるのか」
- 野口大斗 (医科歯科大)「深層学習と日本語アクセント研究の可能性」

・ 江原遥（東京学芸大）「自動リーダビリティ推定の研究動向と展望」

## 3.2 招待講演

招待講演は, 元マイクロソフト社員の鈴木久美氏に「マイクロソフトにおける言語処理の（個人的な） 27 年一手書きの文法開発から深層学習モデルの製品化まで」という演題でご講演いた だいた. 鈴木氏の講演は, 企業の中での言語処理の研究において, 時代の変遷に伴ってどのよ うな必要性が生じ, また, その中で言語学的な知識がどのように用いられてきたかということ

を振り返る内容で，アカデミアの側からは普段は伺い知ることのできない事情を学ぶことので きる大変興味深い内容たっった。

## 3.3 パネルセッション・Slackでの議論

研究紹介，招待講演を踏まえてのパネルセッションとSlackでの議論において，主に以下三 つの論点が浮かび上がってきた. 以下では， ワークショップの提案者を代表して，本記事執筆者二名の立場から，それぞれの点について簡単にコメントしたい.

1. 深層学習・大規模言語モデルの出現による言語学側からの参入障壁の低下

2.「分野の壁」をどう乗り越えるか？

3. 本質的に重要な問題をどう見極めるか？

## 3.3.1深層学習・大規模言語モデルの出現による言語学側からの参入障壁の低下

今回のワークショップ全体を通して顕著に認められた研究動向を一つ挙げるとすれば，近年 の技術進展の恩恵を受けた，言語学から言語処理への参入障壁の低下である．具体的には，高精度で簡単に利用できる大規模言語モデルの出現により，自然言語処理の先端的技術を活用し た様々な研究の可能性を模索する試みが「文系」の言語学者の手によってすでに始まっている ことが確認できた。これらの言語モデル（BERTなど）は，背後に深層学習などの最先端の技術を組み込んではいるが, 言語学の研究者にとっては, 内部のアーキテクチャに精通していな くても，手軽に目的のタスクのために調整して使える便利なツールと見なすことができる．研究発表の中では, 用法基盤モデルでの言語変化（大谷）, 低リソースの危機言語研究への応用 (宮川), 通時研究における探索的研究 (北﨑), 構造化された表示に基づく意味分析（内田）, 論理的手法に基づく意味解析の性能向上（黒澤），類義語間の「視点」の違いの計量的な分析（森下), アクセント・パターンの分析（野口）など，従来はもっぱら言語学者の直観に頼る形で行 われてきた様々な研究課題に関して，機械学習の技術を人間の「職人芸」を補完するツールとし て用いる可能性を模索した研究が多数紹介された. この点は, 新しい時代の「計算言語学」が,単に言語学の下位分類の一つに留まるのでなく, 分野全体の方法論を中心から力強く支える役割を持つものとして発展していく可能性を示唆しており, 特に重要である.

## 3.3.2「分野の壁」をどう乗り越えるか？

とはいえ，分野の壁を乗り越えることは時として容易でない，特に，言語処理側から見て言語学の研究がアクセスしにくいという声も聞かれた。この点については, 特に導入部での永田 の発表が示唆的であり，ワークショップ全体の議論の基調をなすものとなっていた．要点を簡単にまとめると以下のようなことである。言語学者と言語処理研究者は, お互いに相手の分野 の知見に対し（専門家でないがゆえに）しばしば過度の期待を持ちすぎであり，また，相手の
分野の事情（中心的課題, 方法論, 現在までの知見など）に見当がつかないがために学会発表 などの形での新規参入がしづらい. この問題に関しては, 登壇者や参加者から様々な意見や体験談が示され，本ワークショップの中でも特に議論が盛り上がった点だった．興味深かったの は, 現在先端的な学際的研究をしている研究者の多くが (世代に関らず), 過去に一度は, 分野 や方法論などのことはひとまず脇に置いて，とにかく面白いと思った研究をしている研究者・ グループのところになりふりかまわずアプローチしていったということを（Slack上や雑談など の機会も含めて）問わず語りしていた点である。これは，よい研究をしようと思ったら素直に 自分の直観や好奇心（そして健全な批判的精神）を信じるのが一番であるという，至極当たり 前のことを物語っているように思われる。

こうした「分野の壁」に阻まれる徒労感やすれ違い，また誤解のリスクを自ら引き受けてで も異分野間の対話を推し進めていこうという心意気を感じさせる研究は, 見ているものをわく わくさせる，今回のワークショップの発表の中では，広い意味での認知モデリングに関わる以下の研究が，そうした研究として一つのグループを形成していた，計算心理言語学の動向（大関), 言語創発 (上田), 第二言語獲得のモデリング (大羽), 脳波データからの言語音の予測（山崎), リーダビリティの推定 (江原). これらの研究はすべて, 研究トピックと方法論の性質上,「大規模言語モデル（ないし，それに類する機械学習モデル）は人間の認知機構の解明に対して 何らかの示唆をもたらすか？」という, コネクショニズム論争以来認知科学研究においてくす ぶり続ける永遠の論争に正面から向き合わざるをえない. 特に ChatGPT の出現により論争の 火種に突如激烈な油が注ぎ込まれた今, この一群の, 危険な刺激に満ちた研究の重要性は一層増している。

上のような議論を通して, 異分野をまたがった学際的な研究を有意義なものとして進めてい くためには，まずは相手の（分野の）ことを知るために時間をかけて対話をするのが重要であ るという，これもまた当たり前のことを確認することができた. 研究の進展が速い分野・領域, また, いわゆる「ケンカのうまさ」（論敵を, 必ずしも客観的な証拠に基づくわけではない議論 でやり込める能力）が必要以上に大きな意味を持ちがちな分野では，このような当たり前のこ とがともするとないがしろにされがちになる．新しい研究の熱気に水を差すつもりは決してな いが，自戒の意味も达めてこの点を改めて強調しておきたい.

## 3.3.3本質的に重要な問題をどう見極めるか？

さて，以上を踏まえて，我々は計算言語学の未来を蔷薇色に描けるだろうか？この分野にお いて今後革新的な研究が生まれるかの鍵となる一つの重要な観点として, 言語学の現在までの 研究成果に照らし合わせて, 解くべき, あるいは解くに值する問題が何であるかを見極めるこ とがあるように思われる，新しいアプローチが出てくると，人はどうしても，「容易に収穫可能 な果実」('low-hanging fruit')の収奪競争に熱中しがちである. もちろんこのような競争は, そ

れが健全に機能している限りにおいて，分野の活性化や，研究コミュニティの形成に役立つと いう側面はある。しかしながら，人間の認知機構の本質は何か，そこにおいて離散的な記号体系である（とひとまず考えてよい）自然言語はどのような役割を果たしているかといった問い， また, 言語変異や言語変化の一次的データを提供する外在化した記号システムとしての言語と,生成文法などの理論言語学研究が一義的な解明対象と設定している内在的な認知能力としての 言語能力との関連はどうなっているのか，といった問いにはそう簡単に答えが出るはずもない.言語学と言語処理の再接近の兆しが見える現在，分野の壁を乗り越えて多分野の研究者がそれ ぞれの専門知を集結することにより，このような問いに対して力を合わせて取り組むことがで きる絶好のチャンスである。そのような取り組みにおいては，現在までの各分野の知見を踏ま えつつも，それぞれの分野における因習や固定観念から自由になり，それぞれの研究者が，自 らの直観と批判的精神を頼りに果敢に本質的な問いを見定めてそれに挑んでいくことが求めら れるだろう。この機会を逃してはならない.

## 4 これからの時代の計算言語学

本稿執筆者の一人である窪田は, (窪田 2019)の末尾において, 自然言語処理における深層学習の進展を参照した形での新しい言語研究が出てくることへの大きな期待を（旧態依然とした 言語研究の現状に対する幾ばくかの諦念とともに）述べていた．今回のワークショップでは， その時点からわずか 4 年でまさしくそのような研究が，文字通り急速に，大学院生・若手研究者を含む幅広い世代，そして幅広い分野の研究者による，言語研究の最先端の流れの一つとし て実際に動き始めていることを目の当たりにすることができた．本ワークショップがきっかけ となって, この分野の研究がさらに活発になり,「計算言語学の復興」とでも言えるような大き なうねりとなっていくことを期待したい.

## 謝 辞

ワークショップ発表者の皆様，参加者の皆様，また，招待講演の鈴木久美様に感謝いたしま す。また，当日の会場運営に関して言語処理学会第 29 回年次大会運営委員会から大きなお力添 えをいただきましたことに感謝いたします.

## 参考文献

窪田悠介 (2019). 理論的研究とは? 衣畑智秀 (編), 基礎日本語学, pp. 260-283. [Y. Kubota (2019).

Rironteki Kenkyu towa? T. Kinuhata (Ed.), Basics of Japanese Linguistics, pp. 260-283.].

## 略厤

窪田 悠介：2004 年東京大学総合文化研究科言語情報科学専攻修士課程修了. 2010 年オハイオ州立大学博士課程修了 (Ph.D. in Linguistics). 日本学術振興会 PD, 同海外特別研究員, 筑波大学助教を経て 2019 年 4 月より人間文化研究機構 国立国語研究所准教授. 言語処理学会, 日本言語学会, 日本語文法学会各会員.

持橋 大地：1998 年東大教養学部基礎科学科第二卒業, 2005 年奈良先端科学技術大学院大学 情報科学研究科博士後期課程修了. 博士 (理学). ATR 音声言語コミュニケーション研究所, NTTコミュニケーション科学基礎研究所各研究員を経て, 2011 年より情報・システム研究機構 統計数理研究所 数理・推論系准教授. 言語処理学会, 人工知能学会, 日本統計学会各会員.


# BERT によるテキスト分類チュートリアル

塚越駿†・平子 潤 $\dagger$

## 1 はじめに

深層学習の劇的な進展によって，自然言語処理は大きな変革を遂げ，深層学習モデルを用い て自然言語処理タスクを解くことはもはや一般的と呼べるまでになった．中でも近年，深層学習を用いた自然言語処理の中核を担う存在が，BERT (Devlin et al. 2019)をはじめとする事前学習済み言語モデル (Pretrained Language Models; PLMs) である。大規模な事前学習によって 様々なタスクに適用可能な知識を得たこれらのモデルは, 基盤モデル (Foundation Models) 1 と も呼ばれ，極めて活発に研究が行われている。このような深層学習分野の発展に伴い, PyTorch (Paszke et al. 2019) や Transformers (Wolf et al. 2020) といった深層学習関連のライブラリも急速に整備されている。しかし, その発展の急激さ故に, 特に日本語では, 最新のライブラリや 方法論に追従した高品質な参考実装がほとんど存在しない. 研究を行う上で品質の高い参考実装が存在することは，実装ミスを抑制し，研究の生産性を向上させるための資源として極めて 有用である.

BERT によるテキスト分類チュートリアル゙は，上述の問題を解決するため，モダンで高品質 な参考実装を目指し 2023 年 1 月に筆者が GitHub 上で公開した実装例である。本稿執筆時点ま でに 150 を超える $\operatorname{star}^{3}$ が付いており，大きな反響があった，また，本実装については「言語処理学会第 29 回年次大会 併設ワークショップ JLR2023 日本語言語資源の構築と利用性の向上 $\rfloor^{4}$ でも発表5し，実装の工夫について多くの好意的な評価をいただいた。本稿では，BERTによる テキスト分類チュートリアルの概要について述べ，実装にあたって意識した適切な実験管理の ための方策と工夫について紹介する.

## 2 BERTによるテキスト分類チュートリアル

本実装は，BERT を用いたテキスト分類をテーマに，モダンで高品質な深層学習用のテンプ

図 1 本実装によるテキスト分類の流れを示す概観図.

レート実装を目指したものである。特に，自然言語処理の初学者が参考にすることを念頭に，現代の深層学習プロジェクトで必須の要素を漏れなく含みつつ, 可能な限り明快な実装となる よう心がけた。本実装の主要な工夫点は以下の通りである.
- Python 3.10, PyTorch 1.13, Transformers 4.25 以上に対応したモダンな記法・実装

・ 実験テンプレートとしてその他のタスクへの転用が容易な実装

次に，本実装の要点について述べる.

実装の全体像本実装の概観を図 1 に示す。本実装では，まずデータのダウンロードと前処理 を行い，次に訓練・評価用データセットの作成を行う。これらの処理は一連の実験の始まりに のみ行えばよい，その後，訓練と評価を独立して行う。また実装に際して, Jupyter Notebook ${ }^{6}$ などノートブック形式のプログラムは利用しなかった。これは, 研究活動において実験を複数回実施する際に，ノートブック形式のプログラムを利用すると実験の誤りや各処理の依存関係 の把握が難しくなるという実体験に基づく，実験の流れを明確にするための工夫である．

環境構築とライブラリ選定 本実装はモダンな深層学習プロジェクトのテンプレート・参考実装として利用されること目的としている. したがって, 可能な限り新しいバージョンの Python とライブラリを採用した。環境構築には, 近年利用が広がっている Python のパッケージマネー ジャ Poetry 7 と, 科学計算用ライブラリ用のパッケージマネージャ Miniconda ${ }^{8}$ 二つを想定し,初学者が躓きがちなインストール手順も READMEに記載した。また，初学者が本実装を参考

にする際に, 実装の詳細を過度に隠蔽してしまうと, 将来的な学習の妨げとなることが予想され る。したがって，本実装ではデータセットの前処理など，実際に自身で研究を進める場合に必 ず行わなければいけないような処理については，多少壳長でも出来るだけ愚直に書き下すとい う実装方針をとった。そのため, PyTorch Lightning ${ }^{9}$, ML Flow ${ }^{10}$, Hydra $^{11}$ といった，実験・ハ イパーパラメータ管理用のフレームワークは採用しなかった。一方で，深層学習を用いた自然言語処理で極めて一般的に用いられている PyTorch (Paszke et al. 2019) や Transformers (Wolf et al. 2020) といったライブラリは，積極的に新しいバージョンのものを採用した.

データセット テキスト分類の題材に用いるデータセットとして, RONDHUIT 社が公開する livedoorニュースコーパス12を用いた，本実装では，訓練・評価を実施する前に，一括でデー夕 セットの前処理を行う．各訓練・評価のたびにデータセットの前処理を行うような実装も考え られるが，事前に前処理を行う実装方針には主に以下の 2 つの利点がある.

(1) 各実験の前処理の重複を減らし，オーバーヘッドを削減できる。

（2）各実験で同じデータセットが用いられることを保証しやすく，バグを防ぎやすい.

データセットは JSON Lines (JSONL) ${ }^{13}$ 形式で扱うように設計した. JSONL 形式とは, 1 行に 1 つの $\mathrm{JSON}^{14}$ が記述されたデータ形式である。深層学習プロジェクトではデータを CSV 形式 やTSV 形式で記述することもあるが，これらのデータ形式は，配列や階層構造を持つデータの 自然な表現が難しい。一方で，JSONL は各データがそれぞれ独立した柔軟なデータ構造を持つ ことができ，深層学習でよく用いられる Python との相性が良く, 非常に便利である. デー夕 セットは訓練 (train), 開発 (validation), テスト (test)の 3 つのセット ${ }^{15}$ に分割し, 深層学習プ ロジェクトにおける一般的な実験手続きを体験できるようにした。データセットの分割には, Python の機械学習用ライブラリである scikit-learn ${ }^{16}$ の train_test_split 関数を用いる場合もある が，本実装ではあえて全ての処理を書き下した。データセットを適切に分割するという処理は，妥当な実験を行う上で極めて重要であるが, Python 初学者にとっては比較的難度が高いと思わ れる，そこで，分割処理を明示的に実装し，応用の足がかりとなることを狙った。また，デー タセット作成の際には，夕゙ウンロードした生データに直接変更を加えることはせず，生データ から明示的に新しいデータセットを作成するように実装した。 これは，あるデータセットの変更を繰り返すことで生じる「どうやってデータを作成したかわからない」等の問題を避けるた めに，単方向的な処理の流れを意識した結果である。なお，他のデータセットを利用する際も，
^{9}$ https://github.com/Lightning-AI/lightning

10 https://mlflow.org/

${ }^{11}$ https://github.com/facebookresearch/hydra

12 https://www.rondhuit.com/download.html \\#ldcc

13 https://jsonlines.org/

14 https://www.rfc-editor.org/info/rfc8259

15 最近では “split”と呼称することも多い.

16 https://scikit-learn.org/stable/
}
nohup poetry run python src/train.py --device "cuda:0" --model_name cl-tohoku/bert-base-japanese-v2 \& nohup poetry run python src/train.py --device "cuda:1" --model_name cl-tohoku/bert-base-japanese-char-v2 \& nohup poetry run python src/train.py --device "cuda:2" --model_name studio-ousia/luke-japanese-base-lite \& nohup poetry run python src/train.py --device "cuda:3" --model_name xlm-roberta-base \&

図 2 複数の GPU で並列的に実験を行う際のコマンド例.

同様の手続きで実験用データセットを作成できるように実装した.

訓練と評価いくつかの既存の深層学習プロジェクトは，訓練と評価を別々に実行するように 実装されている。具体的には，(1) モデルの訓練と保存 (2) 保存済みのモデルの読み込みと評価 という手順で実験を行う。これに対し，本実装では訓練と評価を連続的に行う。これにより，モ デルの保存と読み込み処理が不要となるため, (1) 訓練時と評価時でモデル構造の齯䶣が発生し づらい (2) 評価結果のみを保存すればよく管理が簡便，といった利点が見达める。なお，本実装では，BERT の fine-tuning という 1 回あたりの実験コストが比較的小さいタスクを題材とし て用いたため，訓練と評価を一体とする実装方針をとった。しかし， 1 回あたりの実験コスト が比較的大きなタスクでは，訓練と評価を分離した方がより柔軟に実験を遂行できる可能性も ある。したがって，本実装を別のプロジェクトに転用する際には，それぞれのプロジェクトに 合った訓練・評価方針を用いる必要がある点に注意されたい，また，本実装では，コマンドラ イン引数として使用する GPU を変更できるようにしている。これにより，例えば，nohup コマ ンド 17 とシェルのバックグラウンド実行機能を利用することで, 図 2 に示すように複数の GPU を用いた並列実験が容易に実現できる ${ }^{18,19}$

## 謝 辞

BERT によるテキスト分類チュートリアルは, 名古屋大学 武田・笹野研究室の新規配属学生向けに実装したプログラムを，一般公開用にブラッシュアップしたものである。まずは，本実装 を作成するきっかけとなった研究室の全てのメンバーに大きな感謝を伝えたい．また，本実装 について発表の機会を提供していただいたJLR2023 運営の皆様, そして, GitHub や各種 SNS を通じて，本実装にコメントとフィードバックを提供していただいたすべての方々に感謝を申 し上げたい，益々の隆盛を迎える深層学習と自然言語処理の時代において，本実装が楽しく研究を行うための一助になれば幸いである 20.

## 参考文献

Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T. J., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., Hesse, C., Chen, M., Sigler, E., Litwin, M., Gray, S., Chess, B., Clark, J., Berner, C., McCandlish, S., Radford, A., Sutskever, I., and Amodei, D. (2020). "Language Models are Few-Shot Learners." arXiv:2005.14165.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of NAACL 2019, pp. 4171-4186.

Houlsby, N., Giurgiu, A., Jastrzebski, S., Morrone, B., de Laroussilhe, Q., Gesmundo, A., Attariyan, M., and Gelly, S. (2019). "Parameter-Efficient Transfer Learning for NLP." arXiv:1902.00751.

Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., Wang, L., and Chen, W. (2021). "LoRA: Low-Rank Adaptation of Large Language Models." arXiv:2106.09685.

Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., Desmaison, A., Kopf, A., Yang, E., DeVito, Z., Raison, M., Tejani, A., Chilamkurthy, S., Steiner, B., Fang, L., Bai, J., and Chintala, S. (2019). "PyTorch: An Imperative Style, High-Performance Deep Learning Library." In Proceedings of NeurIPS, pp. 8024-8035.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., Davison, J., Shleifer, S., von Platen, P., Ma, C., Jernite, Y., Plu, J., Xu, C., Scao, T. L., Gugger, S., Drame, M., Lhoest, Q., and Rush, A. M. (2020). "Transformers: State-of-the-Art Natural Language Processing." In Proceedings EMNLP 2020: System Demonstrations, pp. 38-45.

## 付録

大規模言語モデルの発展と深層学習モデルの訓練の必要性最近になって, OpenAIが発表した ChatGPT $^{21}$, GPT-3 (Brown et al. 2020), GPT-4 ${ }^{22}$ や, Meta が発表した LLaMA ${ }^{23}$, スタンフォー

発的な注目が集まっている。これらのモデルは, 生成文を条件付けるための入力文 (prompt)を 用いることで，パラメータを更新せずとも多様なタスクに適用可能であ.これらの適用手法は in-context learning と呼ばれる. 大規模言語モデルを活用することで, 従来の深層学習では不可欠であった「タスクに合わせて損失関数を設計し, 誤差逆伝播法によってモデルのパラメータを 更新する」という手順の必要性が幾分か低減した。一方で，大規模言語モデルに対して Adapter (Houlsby et al. 2019) や LoRA (Hu et al. 2021) といった, 巨大なモデルと比較してごく少数の パラメータの更新を行う手法を用いることで, モデルの微調整を行う事例が数多く見られるよ うになってきてもいる 25,26 . 大規模言語モデルの発展と並行して「深層学習モデルの訓練」は 独創的な研究をするために不可欠な技術であり続け, この手続きを理解することは, 深層学習 を用いた研究を始めるための重要な一歩であり続けるだろう.

## 注目すべき資料
- Ascender ${ }^{27}$ : 本実装と同様, Python を用いた研究のためのテンプレート実装である. コー ドフォーマッタや Docker などの開発環境が整備されており参考になる.
- HuggingFace: Transformers (Wolf et al. 2020)のほか, Tokenizers ${ }^{28}$, Datasets ${ }^{29}$, Acceler$\mathrm{ate}^{30}$ など，見通しよく効率的に実装を行うためのライブラリが数多く公開されている. また，Transformersに実装されているモデル構造 31 や実装例 32 も参考になる.

・ ライブラリ: 巨大なモデルで訓練・推論するためのライブラリとして, DeepSpeed ${ }^{33}$ や FlexGen 34 が注目されている. また, PyTorch $2.0^{35}$ や Flax36など, 深層学習用フレーム ワークの発展も注目に値する.

## 略歴

塚越 駿：2021 年名古屋大学情報学部卒業. 2023 年名古屋大学大学院情報学研究科知能システム学専攻博士前期課程修了. 修士 (情報学). 同年同専攻博士後期課程に進学. 2023 年度日本学術振興会特別研究員 (DC1) 採用.

平子 潤 : 2021 年名古屋大学情報学部卒業. 2023 年名古屋大学大学院情報学研究科知能システム学専攻博士前期課程修了. 修士（情報学）。2023 年 4 月 よりヤフー株式会社所属. 言語処理学会第 29 回年次大会 若手奨励賞受賞.


# ホライゾン・スキャニングの自動化のための言語処理応用

未来学分野におけるホライゾン・スキャニング (Sardar 2010) の自動化を目指し，文書探索㧍よびコメント生成問題とデータセットを提案する。 ホライゾン・スキャニ ングは未来に起こりうる社会変化を分析する枠組みで，1）新聞記事等を大量に収集 ᄂ，2）重要な記事には主観的な意見や記事の要約をコメントとして記述する。収集 された記事とコメントは社会変化についてのシナリオ記述に活用される。本研究で はデータセットの分析, 探索拈よびコメント生成モデルの構築, 評価を行うことで,問題の特徴を明らかにする。データセットの分析より，1）探索すべき記事は特徴語 および意味的な距離の観点から一般的な記事と異なること，2) コメントは談話構造 の観点から類型に分類できることがわかった．また，学習した探索モデルは適合率 @100において $70 \%$ の性能を示した. さらに，探索モデルの出力記事は専門家による 採点，および実際のシナリオ記述作業の中で用いることで評価され，実利用に耐え うる品質であることを確認した。一方，コメント生成問題は主観的なテキスト部分 の生成が特に挑戦的で, 生成技術のさらなる高度化が必要であることがわかった. キーワード：言語処理応用，文書探索，言語生成，言語資源
## Applying NLP for Automating Horizon Scanning

\author{
Suzuko Nishino ${ }^{\dagger, \dagger \dagger,+\dagger \dagger \dagger \dagger}$, Tatsuya Ishigaki ${ }^{\dagger \dagger, \dagger \dagger \dagger \dagger \dagger}$, Sohei Washino ${ }^{\dagger \dagger}$, \\ Hiroki Igarashi ${ }^{\dagger \dagger}$, Akihiko Murai ${ }^{\dagger \dagger, \dagger \dagger \dagger}$, Yuichi Washida ${ }^{\dagger \dagger \dagger \dagger}$ and \\ YUKARI NAGAI ${ }^{\dagger}$
}

We propose document retrieval and comment generation tasks for automating horizon scanning (Sardar 2010). The steps used are: 1) retrieving news articles that imply drastic changes of society, and 2) writing subjective comments on each article for others' ease of understanding. We manually collected articles to be retrieved and subjective comments. We compare several methods for two proposed settings. Our experiments show that 1) manually collected articles are different from general articles regarding the words used and semantic distances, 2) the contents in the comment can

be classified into several categories. Our experiments showed that our BERT model achieves sufficiently high performance while the comment generation is challenging.

Key Words: Application, Document Retrieval, Generation, Language Resource

## 1 はじめに

「自動消毒ロボットは将来, 駅だけでなくオフィスビルや飲食店など他の業種にも幅広く適用され，人手不足の深刻な人間の清掃員の代替となるだろう」. 未来学の分野では, このように 中長期的な未来に起こりうる大きな社会変化やリスクについて, シナリオを記述する取り組み が行われている。シナリオは企業や政府における意思決定における重要な役割を果たすため,高品質なシナリオを生成するための手法が活発に研究されている. 当該分野における代表的な シナリオ作成手法である Systemic Foresight Methodology (SFM) (Saritas 2013)では, シナリオ 作成を1) ホライゾン・スキャニング，2) プランニングという 2 の部分問題に分割して解く.前者は社会変化の兆候を示唆する情報を含む新聞記事等を大量に収集し, 各記事にコメントを 付与する情報収集作業である。後者は収集した記事を専門家同士で議論しながら集約し, 最終的なシナリオを記述する作業である。本研究で特に着目するホライゾン・スキャニングは, 専門家による大規模な記事収集とコメント作成に多大なコストがかかっている．言語処理技術に よる自動化はその解決の一助となりうる.

本研究ではホライゾン・スキャニングを自動化するため，1) 未来を示唆する文書の探索問題お よび，2）主観的な意見を含むコメント生成という自然言語処理における新たな問題を提案する.図 1 に現在専門家により手作業で行われている, 既存研究 (Washida and Yahata 2021; Sardar 2010)におけるホライゾン・スキャニングの手順を示す. 入力は大規模なテキスト集合で，本研究では一例として日本語の新聞記事を想定する. 出力は事前に定義されたフォーマットによ る文書で，スキャニングマテリアルと呼ばれる。ホライゾン・スキャニングでは，まず入力記事集合から未来の社会変化を示唆する記事を探索する。例えば, 図 1 の記事 2 は「高輪ゲート ウェイ駅での消毒ロボットの実証実験」についての記事である。この記事は鉄道以外の産業に も将来的にロボットが配置されるという社会変化を示唆するため, 記事の探索をした結果, 選択されるべき記事となる。一方，記事 4 は天気予報であり，未来についての言及は含むが日常的に必要な情報を提示しているにすぎず，社会変化について示唆しない. よって, 記事の探索 をした結果，選択されるべきではない。スキャニングマテリアルは未来の社会変化を示唆する 各記事に対し作成され, 記事タイトル, 要約, 主観的なコメントを含む. 記事タイトルと要約 については, 多くの場合, 記事の冒頭を用いる. よって, 本研究ではリード法, ヘッドライン 生成 (Rush et al. 2015), 単一文書要約 (Nallapati et al. 2016; Cheng and Lapata 2016) などの 既存技術を用いる想定とし研究対象としない. コメント部分には記事の短い要約，主観的な意

図 1 ホライゾン・スキャニングの手順.

見, 主張や将来おこりうる社会変化が記述される。探索した新聞記事本文を入力し, 主観的な コメントを自動生成する問題を 2 つ目の設定として扱う.

本研究で提案する文書探索は, 将来の社会の変化を示唆するか否かを判断基準とする点にお いて，既存設定（例えば (Mitra and Craswell 2018)など）と異なる。コメント生成問題は言語生成問題の一つとみなすことができる。本研究での設定は将来起こりうるイベントについて記述する点が特徴的である。多くの既存言語生成研究の設定では，トラッキングした時系列デー 夕を用いたスポーツの試合の要約 (Puduppully and Lapata 2021; Iso et al. 2019; Ishigaki et al. 2021) など，過去のイベントに着目した記述やリアルタイムに現在起こっているイベントについ て記述する実況生成 (Tanaka-Ishii et al. 1998; Taniguchi et al. 2019) が存在するが, 中長期的な 未来について言語生成する設定は新しい.

いずれの問題設定についても, データセットの欠如が問題となる。そこで, 本研究では 2,266 件の未来の社会変化を示唆する新聞記事をホライゾン・スキャニングに関する専門教育を受け た者により収集し, データセットを構築する。提案データセットには, 各記事に対し人手作成 した主観的なコメントも付与する。本研究ではまず，収集した記事に対し，特徴語についての 分析，および一般的な新聞記事との意味的な距離の観点からの分析を行い探索すべき記事の言
語的な特徴を分析する．特に，コメント中の文に対しては，独自に設計した意味ラベルを付与 し，その分布を分析することで，ホライゾン・スキャニングに関する専門教育を受けた者がど のようなコメントを記述するか調査する，最後に教師あり学習，教師なし学習に基づく文書探索モデルおよび言語生成モデルをこのデータセットを用いて構築しその性能を評価する.

データセットの分析により収集した新聞記事は，一般的な新聞記事とは意味的な距離が離れ ており，さらに異なる特徴語を持つことがわかった，文書探索モデルは，BERTによる教師あ り学習による手法が適合率@100において $70 \%$ の性能を示し，教師なし学習およびヒューリス ティックによる手法よりも良い性能を示すことが分かった. さらに，自動探索された記事につ いて専門家による採点評価およびSFM におけるプランニング段階において実際に用いる人手評価実験より，シナリオ作成に有益な記事が収集可能であることを確認した。コメント生成問題では，BART (Lewis et al. 2020) による言語生成モデルが流暢なコメントを生成するが，意見 や主張といった主観的なコメントを生成するのが難しく，主観的なコメント生成は性能向上の 余地がある挑戦的な課題であることが分かった.

本稿の貢献は以下である：1) ホライゾン・スキャニングを自動化するための文書探索および 言語生成問題を新たに提案し, 2) そのためのデータセットを構築および分析し，3)いくつかの ベースライン手法の自動評価指標による性能および人手評価実験の結果を報告する.

## 2 関連研究

本研究は未来学分野におけるシナリオ生成手法に，自然言語処理分野における文書探索およ び言語生成技術を活用する応用研究である。これらを 3 つの基盤技術について順に説明する.

## 2.1 ホライゾン・スキャニング

未来学分野におけるシナリオ生成手法の中でも特に代表的な SFM (Saritas 2013) は, ホライ ゾン・スキャニングとプランニングという 2 段階でシナリオを作成する。前者のホライゾン・ スキャニングの段階では大量の新聞記事を目視し，中長期的な社会変化を示唆する情報を含む 記事のみを収集する．後者のプランニングの段階では収集した記事を専門家によってクラスタ リング (Kunifuji 2016) や合成 (Nagai et al. 2009) することで集約し, 集約結果からシナリオと して生成する。本研究では専門家による目視確認のコストが問題となる, 前段のホライゾン・ スキャニングに着目する。ホライゾン・スキャニングの性能は後段の専門家によるプランニン グに影響するため特に重要である。プランニング部分については専門家同士の議論が重視され ており, 本研究では自動化の対象としない. SFM に関する研究の観点からは, 専門家の収集す る記事の言語的な特徴を分析する研究は我々の知る限り存在しない. 専門家がどのような点に 着目しながら記事を収集しているか分析すること自体，未来学分野においての関心が高い。本
研究では, 收集した記事の特徴について, 特徴語および意味的な距離の観点からその特徴を分析する。

## 2.2 文書探索と言語生成

情報探索は古くから研究対象とされてきた問題である（例えば (Singhal 2001)を参照. ）。近年はニューラルネットワークを用いた教師あり学習および教師なし学習を用いる手法が多く提案されている (Mitra and Craswell 2018; Kwon et al. 2020). 特にトリビア抽出 (Kwon et al. 2020) は，驚きのある情報を含むテキストをWikipedia から探索する設定を扱っており，我々 の設定に近い．Kwon らは驚きのある情報を含む記事と一般的な記事には意味的な距離が離れ ている点に着目し，ニューラルネットワークにより獲得した記事の分散表現と IDF の値を用い 記事探索する手法を提案した．本研究でも教師あり学習に加え，Kwon らのようにIDF および BERT による分散表現を用いる教師なし学習によるモデルでも記事探索を試みる.

コメント生成問題も古くから研究されている言語生成問題の一つと捉えられる。本稿で提案 するコメント生成問題は中長期的な未来について述べるという時間の観点，および主観性の観点から既存研究と異なる。時間の観点からは，スコアデータからバスケットボールの試合の要約を生成する過去のイベントに着目する設定 (Puduppully and Lapata 2021; Iso et al. 2019) や, サッカー (Tanaka-Ishii et al. 1998; Taniguchi et al. 2019), 野球 (Kim and Choi 2020), ゲーム 映像 (Ishigaki et al. 2021)のリアルタイムに起きているイベントについて実況を生成する設定が 存在する。未来についてのテキストを生成する我々に近い設定としては，短期的な未来につい て言及する天気予報生成 (Murakami et al. 2021) が存在する. 本研究では中長期的な未来に着目する点が異なる。また，生成する言語が主観的であるか，客観的であるかという観点からも 既存手法を分類できる．多くの言語生成問題がスポーツの試合の要約など，客観的な状況説明 を生成するのに対し, 本研究で扱うコメント生成は意見や将来起こるイベントの見込みといっ た主観的な言及も含む。

## 3 データセット

本研究で提案する 2 つの問題では, データセットの欠如が問題となり, どのような記事をそ もそも探索すべきか, どのようなコメントを生成すべきかなど, タスクの特徴が明らかでない. そこで，提案タスクのためのデータセットを新たに作成する。データセットには1) 未来の社会変化を示唆する新聞記事，2）記事に対する主観的なコメントが含まれる。新聞記事は日本語を 対象とする。

データセットの作成手順について具体的に述べる。データセットの作成にはSFM に関する 専門知識が必要となる。したがって，本研究ではクラウドソーシングではなくホライゾン・ス

キャニングに関する専門教育を受けた者が手作業で収集した新聞記事を用いる方針を採用する。具体的には，ホライゾン・スキャニングに関する講義を担当する大学教員とその学生ら゙ ${ }^{1} 2003$年から 2020 年の 17 年間に渡り講義の一環として収集した記事の提供を受け，データセットと する．当該講義の担当大学教員とその学生ら, 計 33 名が記事を収集し, 各記事に以下の指示の 下記事の収集とコメントの付与を行った:

（1） 中長期的な未来に起こりうる社会変化を示唆する記事を Web 上から手作業で探索する.

(2) タイトル，要約，コメントを記述する.

(3) 図 1 に例示するスキャニングマテリアルのフォーマットにまとめる.

最終的に 2,266 記事を収集し, 各記事に平均 2.8 文のコメントが人手で付与された. 多くの収集者はまず検索エンジンにカテゴリなどのキーワードを入力し，記事を絞り込み，その後記事 タイトルや本文を手がかりに中長期的な社会変化を示唆する情報を含む記事を探索した．収集者は記事の分野ができる限り多様になるよう配慮した。収集した各記事について，記事の要約 や収集した者自身が記事が示唆する中長期的な社会変化の内容, さらに想定される変化に対す る主観的な意見をコメントとして記述しだ．

## 4 分析

データセット中の記事およびコメントについて分析を行い，探索すべき記事やコメントの特徴を明らかにする。記事の分析は一般的な新聞記事との意味的な距離 (4.1 節), 特徴語 (4.2 節) の観点から行う．コメントの分析には表 1 に示すような意味ラベルを設計し，分布を分析する ことで特徴について考察（4.3 節）する.

## 4.1 一般的な新聞記事との意味的な距離

收集した記事は一般的な記事とは意味的な距離が離れていると考えられる。そこで，Kwon ら (Kwon et al. 2020)の手法を参考にデータセット中の記事と一般的な新聞記事との距離を単語分散表現を用いて計算する。具体的には 2020 年の朝日新聞コーパス³中の記事を一般的な記事と し，各記事中の名詞に対する日本語 word2vec (Mikolov et al. 2013)4の平均ベクトルを各記事の 分散表現とする。名詞は記事を MeCab (Kudo et al. 2004) を用いて形態素解析することで獲得 した. すべての記事に対し word2vec の平均べクトルを計算し，その中心べクトル $\mathbf{c}_{g}$ を一般的

} \\

表 1 意味ラベルの定義と例. 意味ラベル名の右のカッコ内の数字は分析対象とした 30 コメントのうち,当該意味ラベルが出現したコメントの数を表す.

な新聞記事を表現した表現とする。 $\mathbf{c}_{g}$ から提案データセット中の各記事を表現する分散表現 $\mathbf{d}$ への距離を，以下のようにコサイン類似度を用いて定義する:

$
\operatorname{dist}\left(\mathbf{c}_{g}, \mathbf{d}\right)=1-\operatorname{cosine}\left(\mathbf{c}_{g}, \mathbf{d}\right) \text {. }
$

から朝日新聞コーパス中の記事への距離は平均すると 0.30 であった. この差が統計的有意であ ることを $\mathrm{t}$ 検定を用いて確認した．よって，探索すべき記事は意味空間上の距離の観点から，一般的な新聞記事と異なることがわかる.

## 4.2 特徴語

一般的な記事と収集した記事の違いを具体的な語彙使用の観点からさらに分析する。本分析 では, 提案データセット中の記事を特徴づける語に高いスコアを与え, 一般的な記事を特徴づ ける語には低いスコアを与えるモデルを設計し，特徴語の分析を行う，具体的には以下の式で 提案データセット中の単語集合 $C$ および一般的な新聞記事データ中の単語集合 $G$ の和集合中の 単語 $x \in C \cup G$ に対しスコア diff を計算する:

$
\operatorname{diff}(x)=\mathrm{TF}_{C}(x) \operatorname{IDF}_{C+G}(x)-\mathrm{TF}_{G}(x) \operatorname{IDF}_{C+G}(x)
$

ここで, $\mathrm{TF}_{C}$ は単語 $x$ の $C$ における出現回数を $C$ に含まれる単語の総数で割った值で定義する. $\mathrm{TF}_{G}$ も同様に, 単語 $x$ の $G$ におり出現回数を $G$ に含まれる単語の総数で割った値で定義する. $\mathrm{IDF}_{C+G}$ は $C G$ の和集合における Inversed Document Frequency (IDF) で定義し, 出現頻度の 高い機能語に高いスコアが付くことを抑制する. 第 1 項 $\mathrm{TF}_{C}(x) \operatorname{IDF}_{C+G}(x)$ は $x$ がどの程度提案 データセット中の記事を特徴づける語であるかを表したスコアであり, 第 2 項 $\operatorname{TF}_{G} \operatorname{IDF}_{C+G}(x)$

 \\

表 2 探索対象とする記事を特徴づける語と一般的な記事を特徴づける語.

は $x$ がどの程度一般的な記事を特徴づける語であるか表したスコアとなる. $\operatorname{diff}(x)$ が正の方向に振れると $x$ は探索対象とする記事の特徴語であり $\operatorname{diff}(x)$ が負の方向に振れると一般的 な記事の特徴語である。

表 2 に提案データセット中の記事および，2020 年の朝日新聞コーパスに含まれる全記事を一般的な記事として用いた場合のスコア上位の語を示す. 正の方向に振れた語には「ツイッター の新機能」「台湾での干ばつ」といったように，稀に起こるイベントについての言及が多い．ま た，技術分野に関する語も高いスコアを得た。一方，一般的な新聞記事を特徴づける語として は「知事の会見」「容疑者の逮捕」「今夜の天気」など，日常的に起こりうるイベントについて の言及が多い。一部,「PCR 検査」のような 2020 年において $\mathrm{TF}_{G}$ が極端に高くなった語がノイ ズとして含まれる。

## 4.3 コメントへの意味ラベル付与による分析

次に, 提案データセット中のコメント部分についての分析を行う。データセットから無作為 に 30 コメントを抽出し, 網羅的に目視することで表 1 に定義する, 意味ラベルを設計した。 さ らに，手作業でコメントに含まれる各文に対し，意味ラベルを付与し，その出現回数やコメン ト内での出現順序を分析した。 付与作業においては 1 つの文に対し, 複数ラベルの付与を許容

する.

ラベルの定義のうち，“要約”と“背景”は主観的な意見などを含まず事実を述べる文に付与 される。“要約”はそれぞれ記事に記述された事実を要約する内容に付与し，“背景”はもととな る新聞記事には含まれず記述者の知識から導き出された情報を含む文に付与する。例えば，「ト ミーがバイオリンのおもちゃを発売した」という記事に対し，「様々なおもちゃが近年発売さ れている.」というコメント記述は元の記事の“要約”ではなく“背景”とラベル付ける。一方， “主張（現在）”, “主張（未来）”, “見込み”は記述者の主観的な意見や予測を含む．表 1 にお いて，意味ラベル名の右のカッコ内の数字は分析対象とした 30 コメントのうち，当該意味ラベ ルが出現したコメントの数を表す.

1つのコメントに対し付与された意味ラベルの, 出現順について分析する. 83\%（30コメント 中 25 コメント）は “要約”もしくは“背景”という事実について言及する文から始まり，“主張” や“見込み”といった主観的な意見が続いた．30コメントのうち4コメントは事実を含まず，主観的な意見のみ述べた．たた 1 つ例外的に主観的な意見を含まず，“感想”のみのコメントが存在した．客観的な記述と主張などの主観的な記述を含む 83\%部分に着目すると， $76 \% （ 25$ コメ ント中 19コメント）は“要約” からコメントを始め，24\%（25コメント中 6コメント）は元の 記事には含まれない“背景”情報を提示した。

## 5 手法

提案タスクの特徵を明らかにするため, いくつかの文書探索および言語生成モデルを比較する.

## 5.1 文書探索モデル

文書探索モデルは記事集合を入力とし，各記事に対し中長期的な社会変化を示唆するか否か 表現するスコアを計算する，スコアが上位 $N$ 件の記事が最終的な出力となる． $N$ の決定方法 は以後の実験設定によって異なり，1）スコアのしきい値を定めて決定する（6.1.2 節の自動評価実験), 必要な記事数を事前に定義し用いる（6.1.3 節の人手評価実験）の 2 つの手法を用いる. スコア計算の手法として, 教師ありおよび教師なしのニューラルネットワークに基づく手法と, ヒューリスティックによる手法を比較する.

## 5.1.1 ニューラルネットワークによる教師あり・教師なし手法

教師あり学習に基づく手法として，BERT (Devlin et al. 2019)による二値分類モデルを記事 のスコアリングに用いる。学習データとして, 提案データセットに含まれる記事を正例とし,無作為に朝日新聞コーパスから抽出した記事を負例とする。記事はまずサブワード列に分割さ れ，先頭に特別なトークン $([\mathrm{CLS}])$ を付与する，BERT によるエンコーダでサブワード列を埋

め込み表現列に変化する:

$
\mathbf{e}_{0}, \mathbf{e}_{i}, \ldots, \mathbf{e}_{n}=\operatorname{BERT}\left(x_{0}, x_{i}, \ldots, x_{n}\right)
$

ここで， $e_{i}$ は $i$ 番目のサブワード $x_{i}$ に対応する埋め込み表現である. したがって， $\mathbf{e}_{0}$ は [CLS $]$ トークンに対応する埋め込み表現となる。 $\mathbf{e}_{0}$ を全結合層による二值分類のためのネットワーク で中長期的な社会変化を示唆する記事であるかを表現する確率分布に変換する:

$
\mathbf{y}=\operatorname{Softmax}\left(\mathbf{e}_{0} \mathbf{W}_{e}\right)
$

ここで, $\mathbf{W}_{e}$ は埋め込み表現を大きさ 2 のベクトルに変換する重み行列で, 各要素の值をそれ ぞれ探索すべき記事であるか否かを表すスコアとみなす. BERT 層, 単語埋め込み層, および 重み行列 $\mathbf{W}_{e}$ は交差エントロピー損失を最小化するよう学習する。このモデル自体, 自然言語処理において一般的によく用いられるものであるが，本研究ではこのモデルが中長期的な社会変化を示唆する記事の分類においても有効であるか確かめる.

次に類似度に基づく教師なし学習手法について説明する．4 節で分析したように，探索すべ き記事は一般的な記事とは意味的な類似度が離れている特徴がある。そこで, 意味的な距離を 用いたスコアを考える。このモデルでは，朝日新聞コーパスに含まれる記事の中心べクトル $\mathbf{c}_{g}$ との距離を探索すべき記事であることを表現するスコアとみなす:

$
1-\operatorname{cosine}\left(\mathbf{e}_{0}, \mathbf{c}_{g}\right) \text {. }
$

ここで， cosine はコサイン類似度を返す関数である。

## 5.1.2 ヒューリスティックによる手法

この手法では探索すべき記事はより多くの特徴語を含むと仮定する。このような特徴を捉え るためのヒューリスティックとして，以下のようにIDF の平均値を用いて文書にスコアを与え ることを考える：

$
\frac{\sum_{1}^{n} \operatorname{IDF}\left(x_{i}\right)}{n}
$

ここで, $\operatorname{IDF}\left(x_{i}\right)$ は分類対象記事中の各単語 $x_{i}$ に対する IDF を返す関数である. IDF の値は朝日新聞コーパスから事前に計算した. $n$ は記事に含まれる単語数で, 式 (6)を用いて単語あたり のIDF を計算する。

## 5.2 コメント生成モデル

コメント生成は探索した記事を 1 つ入力として受け取り，コメントを出力する問題である. 4.3 節において議論したように，データセット中の多くのコメントが例えば要約などの事実に基

づく記述に加え主観的なコメントも含む，そこで，本研究では単一文書要約において良い性能 が報告されている事前学習モデルである BART (Lewis et al. 2020)を用い, さらに提案データ セットで追加の学習を行う。事前学習モデルには BART (Lewis et al. 2020)を用い, 提案デー タセットのコメントに対する交差エントロピー損失を最小化するよう追加の学習を行った.

## 6 実験

本節では文書探索モデルおよびコメント生成モデルの評価実験について述べる．実験に用い たデータ，パラメータ，比較手法および評価指標について， 2 ののモデルに分けて順に説明する.

## 6.1 文書探索モデルの評価

はじめに，文書探索モデルについて実験データと設定，自動及び人手による評価手法につい て述べる。

## 6.1.1 データと設定

教師あり学習に基づくモデルの学習には提案データセットに含まれる記事のうち, 2020 年に 発行された 320 記事を正例として用いる ${ }^{5}$. 負例には朝日新聞コーパスに含まれる 2020 年に発行された記事を無作為に 8,000 記事抽出し用いる ${ }^{6}$. 実験に用いるこれら 2 種類のデータセット の統計量を表 3 に示す.二値分類器の学習と評価は 5 分割交差検定により行う. 実験に用いる 合計 8,320 記事は無作為に並べ替え，3:1:1の比率で分割した。分割部をそれぞれ学習, 開発,評価セットに用いる．開発セットは比較手法のスコアをもとに正例と負例を分類するためのし きい値調整に用いる。異なる組み合わせでの分割を 5 回繰り返し，その平均の評価値を報告す る。前処理として，記事は MeCabを用いて形態素解析した．MeCab の辞書には IPA 辞書を用 いる.さらに, Sentencepiece (Kudo and Richardson 2018)を用いて形態素列をサブワード列に 変換し, Wikipedia から事前学習した BERT ${ }^{7} に よ り$ 読み达んた.

表 3 探索問題の実験に用いたデータの統計. 平均文長は $\mathrm{MeCab}$ で解析した場合の形態素数である.

## 6.1.2 自動評価

文書探索問題の評価は二値分類器の分類性能と文書探索モデルとしての性能を分けて評価す る. 分類器自体の評価には適合率, 再現率および $\mathrm{F}$ 値を用いる. 文書探索性能は, 情報探索問題の評価に一般的に用いられる適合率@Nを用いて評価する (Blair and Maron 1985).

## 6.1.3 人手評価

本研究で着目する未来学における SFM (Saritas 2013) では，探索した記事の集合を，さらに 専門家が最終的なシナリオ作成に用いる。そこで，探索された記事を実際に専門家にシナリオ 作成に使用させる人手評価を行う，具体的には，まず，BERT による教師あり手法でスコアの 大きな 75 記事と, 人手作業で収集した記事に対し専門家が手作業で採点し，採点スコアの大き な 75 記事を混ぜ合わせ, 合計 150 記事からなるデータセットを作成する. ここで, 自動探索記事は 2020 年の朝日新聞コーパスに含まれる 92,592 記事を BERT による手法のスコアが大きな 順にランキングし獲得する。 その後, 各記事を図 1 に示すスキャニングマテリアルと呼ばれる 事前定義されたフォーマットに手作業で変換し作業者に提示する. 作業には大学教員とその学生ら 17 名が参加した. 参加者は 150 個のスキャニングマテリアルを読み, 最終的なシナリオを 記述した. 1 人につき 5 つのシナリオを生成し, シナリオに対し元になった新聞記事を最大 9 個 アノテーションさせた。シナリオとその元となった記事の対を分析し，探索文書と人手収集記事の最終的なシナリオへの寄与を比較する.

## 6.2 コメント生成モデルの評価

次に，コメント生成モデルについて実験データと設定, 自動及び人手による評価手法につい て述べる。

## 6.2.1 データと実験設定

コメント生成には日本語 Wikipedia から事前学習された BART 8 を用いる。この BART を自動要約においてよく用いられるパラメータ設定9でファインチューニングした.

## 6.2.2 自動評価

コメント生成には 4 節で述べたように多くのコメントが入力記事の要約を含むことから，評価指標として自動要約でよく用いられる ROUGE-1, ROUGE-2 および ROUGE-L (Lin 2004)を 採用する．ROUGE-1 は参照コメントに対する出力コメントの uni-gram の再現率, ROUGE-2

は bi-gram の再現率を表す. ROUGE-L は参照コメントと出カコメントでのトークンの最長一致を用い再現率を計算する。同様の理由から，自動要約においてべースラインとして用いられる 先頭 3 文を抽出するリード 3 法と比較する評価を行う。本評価ではコメントの末尾を表す特別 なトークンを出力するまで BART のデコードを繰り返すため, 出力長の制約がない. ROUGE は再現率を測る指標のため，長い系列を出力すると有利である。そこで，ROUGEだけでなく，言語生成においてよく用いられる評価指標として, 表層べースの適合率を測る BLEU (Papineni et al. 2002) および埋込表現べースの類似度指標である BERTScore (Zhang et al. 2020) の評価値 も報告する。

## 6.2.3 人手評価

ROUGE を用いた自動評価は未来の社会変化についてのコメントを正しく捉えられるか明ら かではない，そこで，生成コメントがホライゾン・スキャニングの出力として適切であるか否 かを人間の被験者に評価させる実験も行う．評価者は参照コメント，BART およびリード 3 に よる自動生成コメントをランキングし評価した．提案タスクに特化した評価基準として，生成 コメントが中長期的な未来に起こりうる社会変化を想起させるか否か判定するよう指示した.情報探索自体長らく研究されているが，このような基準での人手評価は本研究独自のものであ る.この基準に加え，「流暢さ」「正しさ」という従来から用いられれている基準での評価も行 う．流暢さについては，テキストが文法的および意味的に破綻していないかを目視により確認 し，正しさについては新聞記事で述べられた事実と矛盾することがコメントに記述されていな いか判定する。優劣の判定が難しい場合, 同位の判定も許容した.

## 7 結果

本節では文書探索およびコメント生成の性能を報告する.

## 7.1 文書探索問題

はじめに文書探索問題の実験結果について述べる.

## 7.1.1 自動評価

表 4 に自動評価実験の結果を示す．BERT による教師あり学習に基づく手法は $\mathrm{F}$ 値において 58.1 で，他の手法よりも良い值を示した，学習に用いたデータのうち $3.8 \%$ （8,320 記事のうち 320 記事）のみが正例となる不均衡な設定のため, 高い $\mathrm{F}$ 値を得ることは本質的には難しい設定 である，従って，意味的な距離による手法や IDF による手法は極端に低い値を示す．4 節の分析において述べたように，探索すべき記事は一般的な記事から意味的な距離が離れている。し

かし, 意味的な距離の情報のみを用いて探索すべき記事を分類することは難しいことがわかる.同様にIDF の値だけを用いたとしても，探索すべき記事の分類は難しい.

BERT による教師あり学習に基づく手法は適合率 @ 5 において，0.80の値を示し，意味的な距離や IDF による手法の適合率@5 の 0.40 よりも高い値を示した。よって, 作成したデータセッ トによる教師あり学習手法が有効に作用することがわかる，適合率 $@ N$ における $N$ の値を大き くすると，教師あり学習に基づく手法は $N=100$ まで大きくしても値の低下は 0.70 に抑えられ るのに対し, 意味的な距離に基づく手法およびIDF による手法はそれぞれ 0.02 と 0.09 で, 性能が著しく低下する。よって, 提案データセットによる教師あり学習は, 適合率 $@ N$ の観点か らより頑健なモデルといえる.

## 7.1.2 シナリオ作成での実利用による人手評価

自動探索した記事をSFM における後段処理であるシナリオ作成に用いることで，その効果を 検証する。この実験では，まず，自動探索モデルが高いスコアを与えた 75 記事と人手収集した 75 記事を無作為に混ぜ合わせデータを作成する．SFM に関する知識を持つ 17 人が SFM を学習するワークショップの一環として，実験に参加した，各人には 150 記事が与えられ，一人あ たり 5 シナリオを作成し，合計 $85 （ 17$ 人 $\times 5)$ のシナリオを得た. 各シナリオは 1 つ以上の記事を基に作成され，参考にした記事も併せてアノテーションさせた．結果，1つのシナリオは 平均して 4.8 個の記事を基に作成された.

表 5 に被験者が作成したシナリオの統計を示す. 85 シナリオのうち 71 シナリオは自動探索 した記事と人手収集した記事を組み合わせて作成したものであった。探索文書のみを組み合わ

表 4 文書探索問題の自動評価結果.（P は適合率を示す）

表 5 被験者が作成したシナリオについての統計.

せ作成したシナリオが 11 存在し, これは人手収集記事のみを組み合わせ作成した 3 つのシナリ オよりも多い.この観点からは, 85 シナリオのうち $96.4 \%$ （82 シナリオ）という高い割合で， 1 記事以上の自動探索記事が使用された.

その一方, 表 6 に示すように，記事の使用回数の観点からは人手収集した記事の方がシナリ オにより寄与している。この表において，例えば，自動探索された 18 記事はどのシナリオにも 使用されない（使用されたシナリオ数が 0 回）低品質な記事であった. 人手収集した記事でシ ナリオ作成に活用されなかった記事はわずかに 9 であり，差が大きい。一方， 7 シナリオに使用 されるような有益な記事を自動探索している点は興味深い。人間による人手収集では，9シナ リオに使用されるさらに重要な記事を探索している. 自動探索モデルは交差エントロピー損失 により学習されており, 分類器の与えるスコアは 0.0 もしくは 1.0 に極端に振れる傾向がある.探索すべき記事の中でも，細かなスコアの差を与えるようなモデル拡張が考えられる.

## 7.2 コメント生成問題

コメント生成の評価について述べる.

## 7.2.1自動生成コメントの自動評価

表 7 に BART およびリード 3 法の ROUGE を示す. BART は ROUGE- 1 と ROUGE-L にお いてリード 3 よりも高い值を示した。一方，ROUGE-2においてはリード 3 法よりも低い値で あった. 4.3 節で述べたように人間のコメントの冒頭部分には入力文書の要約が含められやす く, この要約部分の多くは原文書を言い換えない抽出型の要約となっている. BART が原文書 の表現の言い換えを許容する生成型の要約手法であるのに対し, リード 3 は文抽出型の手法で ある。よって, 正解コメントとリード 3 法の出力で単語の重複が多くなり, ROUGE-2 の値が 大きくなるものと考えられる．BLEU およびBERTScore についてもBART による自動生成コ メントがリード 3 よりも高い値を得た。

表 6 自動探索した記事と人手収集した記事がプランニング段階で使用された回数.

表 7 コメント生成問題の自動評価結果.

表 8 人間による採点評価の結果. ホライゾン・スキャニングに関する専門教育を受けた者によるコメン ト（参照コメント），BART およびリード 3 を比較し，行の手法が列の手法に対しより良いと判定 された回数 (勝ち), 列の手法に対して悪いと判定された回数（負け）. 同位と判定された回数（分 け）を示す.

## 7.2.2 人手採点による自動生成コメントの人手評価

か，2）流暢さ，3）正しさの 3 つの観点における值を示す. 表に示す値は行に示す手法が列に示 す手法より良いと判定された回数，悪いと判定された回数，同位と判定された回数である．例 えば，参照コメントは BART に対し「72 勝 29 敗 19 分」であり，より多くの回数良いと判定 された. 未来の変化を想起させるかという観点では, BART が 51 回リード 3 法よりも良いと 判定されたのに対し，リード 3 は BART よりも良いと判定されたのは 41 回であった. よって， BART の出力にはリード 3 法よりもより未来の変化を想起させる記述が含まれる。 一方, 参照 コメントはBARTよりも 72 回良いと判定されており, BART がより良いと判定された回数は 29 回である. そのため, 依然このタスクには性能向上の余地が残されていると考えられる.

BARTによる多くの自動生成コメントを目視すると, 要約や背景を言及したあとに, 主観的な 意見を述べる談話構造を持つ出力を多く観測した．4節で述べたようにこのような構造がデータ セット中にも多く含まれることから，BART はこの構造に近い出力を行ったものと考えられる.

## 8 エラー分析

本節では自動探索された文書と自動生成されたコメントのエラーを分析する.

## 8.1 自動探索記事のエラー

表 9 に BERT による教師あり学習に基づく手法, 意味的な距離に基づく手法およびIDFによ る手法の出力スコアを例示する。表に示す 4 つの記事はいずれも負例である。すなわち，これ ら4つの記事に対し低いスコアを与えれば，良いモデルといえる。

1 つ目の例は BERT 手法が正しく負例に対し低いスコアを与えた例である．2つ目から4つ 目の例は，負例に対し BERT 手法が比較的高いスコアを与えた代表的なエラー事例である。こ の分析では，まずBERTによる手法が分類に失敗した事例をスコアの大きな順に 20 事例を抽出した.これらのエラー事例を手作業で類型化した.

スコアの大きな 20 事例のうち, 16 事例は実際には正例とみなすことのできる記事であった. これは，実験に用いた 8,000 記事の擬似的な負例の中にも少数ではあるが正例とみなすことの できる記事が含まれており，それらが正しく正例として判定されたものと考えられる。

残りの 4 記事については，表 9 における 2 番目および 3 番目の記事のように，カタカナ語やア ルファベットを多く含む記事，「新型コロナウイルス」のような学習データの収集時期に特有な 時事用語を含む記事がみられた．２番目の例は“半導体” “開発”といった語を含み一見，中長期的な変化として, 革新的な製品開発を示唆するように見える. しかし, “取りやめ”という否定表現も含むことから, 大きな社会変化を示唆しない. BERT による手法では, 否定表現を含 み長期的な社会変化の手がかりではない事例に対しても，半導体やLSI といった用語の影響が 強く，高いスコアを与えるエラーがみられる．3番目の例についても同様に「ETF」や「NISA」 といったアルファベットが連続する語の影響を受け高いスコアとなる. しかし, 中長期的な社会変化は示唆しない.「新型コロナウイルス」といった時事用語を含む 4 つ目のような記事は,短期的な社会変化に着目し, 本研究で着目する中長期的な社会変化を示唆しない. 学習デー夕 の収集時期によって，「新型コロナウイルス」といった特定の時事用語が正例に多く含まれると，

 \\

表 9 各手法がテキストに与えたスコア.

BERT の出力スコアもそのような語の影響を受ける。時事用語を含む記事は収集段階では正例 とみなせても，時間の経過によって正例とはみなせなくなるケースが存在する。そのため, 学習データの収集時期の影響を受けづらくするため，時事用語を含む記事を出力しないといった ヒューリスティックとの組み合わせは実応用上有効であると思われる.

また，コサイン類似度による距離尺度だけでは探索すべき記事とそうでない記事の分類が難 しい事例が多く存在した。例えば，表 9 中の 1 つ目の例は通常のニュース記事ではなくエッセ イである。このように，一般的な記事との意味的な距離は遠いが中長期的な変化を示唆しない 記事は多く存在する．IDF や意味的な距離による手法はこれらを正しく負例と分類できないこ とがある.

## 8.2 コメント生成の出力例

自動生成されたコメントについて議論する。表 10 に 4 つ記事に対し生成されたコメントを 示す. 1 番目の記事に対しては，記事の要約に加え「この技術は飲食業での消毒や清掃にも応用されるかもしれない.」という主観的なコメントも正しく生成した. 2 番目から 4 番目の記事 とコメントは，人手評価のおいてエラーを含むと判定されたコメントを 3 つの類型に分け，各類型を例示したものである。

2 番目のコメントは元の記事から文を抽出し要約を出力したのみで，意見を含めなかったエ ラー類型の例である。このようなエラーは分析した 20 記事のうち 3 件みられた. 生成コメント が流暢だとしても，本設定では主観的なコメントを含まない出力はエラーとなる．学習に用い るデータに主観的なコメントが含まれるとしても，BART 自体には主観的なコメントをより出力に含めるような機構を持っているわけではない. 本研究では，もっとも基本的な BARTによ るべースライン性能を報告することとし，言語生成モデルそのものに主観的なコメントをより 含めるような新たな機構や，より説得力を持つコメントを生成するための談話構造の制御技術 (Ishigaki et al. 2019) については, 将来的な拡張のアイデアとして述べるに留める。言語生成技術の研究の観点からは, そのような生成テキストの制御機構の開発は重要な方向である.

3 番目の例において，自動生成されたコメントの 2 文目は “日本食ブーム”について言及して いる。しかし， 入力記事には日本食に関連する記述はなく，原文書とは関係のない記述が含ま れる正しさに関するエラーとなっている。原文書と関連する背景情報を正しく主観的なコメン トとして言及するのが難しい例である。このようなエラーは分析した 20 コメントのうち 11 コ メントを占めた.

最後の 4 番目は，「温泉自体への投資も活発化してきているようだし、温泉自体への投資も活発化してきているようだ。」といった言及のように，同じ文言の繰り返しや，常識的には考えら れない現象についての言及のため，意味を把握することのできない出力の例である。このよう な事例が 20 コメントのうち 6 コメントみられた.

2. 入力記事: 徳島大学発のベンチャー企業グリラスは、食用コオロギ事業を拡大するため、総額 2 億 3000 万円を調達した。今回の資金調達を機に、株式公開に向けた体制整備を進める予定だ。グリラスは 5 月にジェイテクトと業務提携し、全自動生産システムを共同開発した。 (2020 年 12 月 23 日 日経新聞)

参照コメント:

最近、日本でも 10 匹と 30 匹のコオロギを使ったフイナンシェが発売され、2 日で売り切れたそうだ。私はおせんべい以外、コオロギを使った食品を見たことがないが、いよいよ昆虫食が社会に浸透してい く兆しがあるようた。

## BART:

徳島大学発のベンチャー企業グリラスが、食用コオロギの事業拡大のため、ベンチャーキャピタルから 総額 2 億 3000 万円の資金調達を行った。全自動生産システムの共同開発に取り組んでいる。

3. 入力記事: 飲料水の自動販売機の扉の鍵を不正に開けて売上金などを盗んだとして、警視庁杉並署... (中略）... 窃盗容疑で逮捕していた。

(2020 年 10 月 5 日 朝日新聞デジタル)

参照コメント:

ATM や自動販売機が危ない。東京や神奈川では、年間 100 件以上発生いる模様。これだけ被害が増え ると、お金を扱う自動販売機の本格的な電子化が最終的には必要だろう。

## BART:

コロナ禍で 2 名の容疑者が逮捕されました。日本食ブームは世界中で大人気。日本の食文化は世界に広 がる可能性を秘めている。

4. 入力記事: 湯けむりの里、鬼怒川温泉を救え! 経営不振に加え、メーンバンクの足利銀行の破綻とい うダブルパンチを食らっている鬼怒川温泉（栃木県藤原町）の再生に向け、産業再生機構が温泉街を丸 ごと支援する方向で検討を始めた。... (中略) (2004 年 2 月 10 日夕刊フジ)

参照コメント:

団体客の減少で、老舗の温泉街である鬼怒川温泉が丸ごと経営危機になっている。そこで産業再生機構 が街まるごと支援に乗り出すことになったという。（中略）しかし問題は、その「丸ごと」発想なので はないか?

BART:

昨今の景気後退の中、温泉ブームも熱を帯びてきているが、どうやら最近、温泉街を丸ごと再生させよ うとする動きが活発化してきているようた。温泉自体への投資も活発化してきているようだし、温泉自体への投資も活発化してきているようだ。

表 10 コメントの生成例.

## 9 おわりに

本稿では未来学におけるホライゾン・スキャニングを自動化するため, 新たな文書探索及び 言語生成問題を提案した，2,266の新聞記事と中長期的な未来に起こりうる変化に関する主観的 なコメントが対になったデータセットを整備した。探索すべき記事について，特徴語および意味的な距離の観点から分析し, BERT による教師あり学習手法において適合率@N において良 い探索性能が得られることを示した. コメント生成問題については, 最先端の言語生成モデル を用いたとしても主観的なコメントを正しく生成するのが難しく挑戦的な課題であることが分 かった。本稿で提案したコメント生成問題をさらに高度に解くためには, 主観的な記述と客観的な記述を正しく制御可能な言語生成技術が必要となるだろう.

## 謝 辞

本研究は, JST 次世代研究者挑戦的研究プログラム JPMJSP2102 の支援を受けたものです.整備したデータセットの元となる記事およびコメントを提供くださった一橋大学のMBAコー ス学生の皆様, ワークショップの参加者に感謝します. 本原稿に対し適切なご助言を頂きまし た二人の匿名査読者および編集委員に感謝します。人手評価におけるデータ収集は, JAISTの 倫理審査委員会の承認を得ています. 計算には産総研の $\mathrm{AI}$ 橋渡しクラウド $(\mathrm{ABCI})$ 利用しま した。実験には朝日新聞コーパスを使用しました。

## 参考文献

Blair, D. C. and Maron, M. E. (1985). "An Evaluation of Retrieval Effectiveness for a Full-Text Document-Retrieval System." Communication of the Association for Computing Machinery, 28 (3), pp. 289-299.

Cheng, J. and Lapata, M. (2016). "Neural Summarization by Extracting Sentences and Words." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 484-494, Berlin, Germany. Association for Computational Linguistics.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL2019), pp. 4171-4186, Minnesota, USA. Association for Computational Linguistics.

Ishigaki, T., Kamigaito, H., Takamura, H., and Okumura, M. (2019). "Discourse-Aware Hierarchical Attention Network for Extractive Single-Document Summarization." In Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019), pp. 497-506, Varna, Bulgaria. INCOMA Ltd.

Ishigaki, T., Nishino, S., Washino, S., Igarashi, H., Nagai, Y., Washida, Y., and Murai, A. (2022). "Automating Horizon Scanning in Future Studies." In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 319-327, Marseille, France. European Language Resources Association.

Ishigaki, T., Topic, G., Hamazono, Y., Noji, H., Kobayashi, I., Miyao, Y., and Takamura, H. (2021). "Generating Racing Game Commentary from Vision, Language, and Structured Data." In Proceedings of the 14th International Conference on Natural Language Generation, pp. 103-113, Aberdeen, Scotland, UK. Association for Computational Linguistics.

Iso, H., Uehara, Y., Ishigaki, T., Noji, H., Aramaki, E., Kobayashi, I., Miyao, Y., Okazaki, N., and Takamura, H. (2019). "Learning to Select, Track, and Generate for Data-to-Text." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2102-2113, Florence, Italy. Association for Computational Linguistics.

Kim, B. J. and Choi, Y. S. (2020). "Automatic Baseball Commentary Generation Using Deep Learning." In Proceedings of the 35th Annual ACM Symposium on Applied Computing, SAC '20, pp. 1056-1065, New York, NY, USA. Association for Computing Machinery.

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium. Association for Computational Linguistics.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain. Association for Computational Linguistics.

Kunifuji, S. (2016). "A Japanese Problem-solving Approach: The KJ Ho Method." In Knowledge, Information and Creativity Support Systems: Recent Trends, Advances and Solutions, pp. 165-170. Springer.

Kwon, J., Kamigaito, H., Song, Y.-I., and Okumura, M. (2020). "Hierarchical Trivia Fact Extraction from Wikipedia Articles." In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4825-4834, Barcelona, Spain (Online). International Committee on Computational Linguistics.

Lewis, M., Liu, Y., Goyal, N., Ghazvininejad, M., Mohamed, A., Levy, O., Stoyanov, V., and Zettlemoyer, L. (2020). "BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL2020), pp. 7871-7880, Online. Association for Computational Linguistics.

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain. Association for Computational Linguistics.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013). "Distributed Representations of Words and Phrases and their Compositionality." In Burges, C. J. C., Bottou, L., Welling, M., Ghahramani, Z., and Weinberger, K. Q. (Eds.), Advances in Neural Information Processing Systems, Vol. 26. Curran Associates, Inc.

Mitra, B. and Craswell, N. (2018). An Introduction to Neural Information Retrieval. Now Foundations and Trends.

Murakami, S., Tanaka, S., Hangyo, M., Kamigaito, H., Funakoshi, K., Takamura, H., and Okumura, M. (2021). "Generating Weather Comments from Meteorological Simulations." In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 1462-1473, Online. Association for Computational Linguistics.

Nagai, Y., Taura, T., and Mukai, F. (2009). "Concept Blending and Dissimilarity: Factors for Creative Concept Generation Process." Design Studies, 30 (6), pp. 648-675.

Nallapati, R., Zhou, B., dos Santos, C., Gulçehre, c., and Xiang, B. (2016). "Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond." In Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning, pp. 280-290, Berlin, Germany. Association for Computational Linguistics.

Nishino, S., Washida, Y., Ishigaki, T., Washino, S., Igarashi, H., Murai, A., and Nagai, Y. (2022). "Validation of a Foresight Support System to Imagine an Uncertain Future." In Proceedings of Knowledge, Information and Creativity Support Systems (KICSS2022), Kyoto, Japan. IIAI Letters on Informatics and Interdisciplinary Research.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "Bleu: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318.

Puduppully, R. and Lapata, M. (2021). "Data-to-text Generation with Macro Planning." Transactions of the Association for Computational Linguistics, 9, pp. 510-527.

Rush, A. M., Chopra, S., and Weston, J. (2015). "A Neural Attention Model for Abstractive Sentence Summarization." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 379-389, Lisbon, Portugal. Association for Computational Linguistics.

Sardar, Z. (2010). "The Namesake: Futures; Futures Studies; Futurology; Futuristic; ForesightWhat's in a Name?" Futures, 42 (3), pp. 177-184.

Saritas, O. (2013). "Systemic Foresight Methodology." In Science, Technology and Innovation Policy for the Future, pp. 83-117. Springer.

Singhal, A. (2001). "Modern Information Retrieval: A Brief Overview." IEEE Data Eng. Bull., 24 (4), pp. 35-43.

Tanaka-Ishii, K., Hasida, K., and Noda, I. (1998). "Reactive Content Selection in the Generation of Real-time Soccer Commentary." In COLING 1998 Volume 2: The 17th International Conference on Computational Linguistics.

Taniguchi, Y., Feng, Y., Takamura, H., and Okumura, M. (2019). "Generating Live Soccer-Match Commentary from Play Data." In the AAAI Conference on Artificial Intelligence, No. 01, pp. 7096-7103.

Washida, Y. and Yahata, A. (2021). "Predictive Value of Horizon Scanning for Future Scenarios." Foresight, 23 (1), pp. 17-32.

Zhang, T., Kishore, V., Wu, F., Weinberger, K. Q., and Artzi, Y. (2020). "BERTScore: Evaluating Text Generation with BERT." In 8th International Conference on Learning Representations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020.

## 略歴

西野 涼子：IT 企業でシステム開発に従事後, 2020 年より産総研技術研修員, 2021 年北陸先端科学技術大学院大学博士前期課程修了, 同年, 同大学院博士後期課程および研究補助員, 2022 年より一橋大学研究補助員, 現在に至る. 専門は知識科学. 言語処理学会, 情報処理学会, 日本創造学会各会員.

石垣 達也：2019 年東京工業大学総合理工学研究科博士学位取得 (工学)。同年, 同大学科学技術創成研究院研究員. 2020 年 4 月より産総研特別研究員,同年 10 月より同研究員, 現在に至る。専門は自然言語処理. 特に自動言語生成と自動要約. 言語処理学会, 情報処理学会各会員.

熟野壮平：2019 年 3 月鹿屋体育大学大学院体育学研究科体育学専攻博士後期課程修了．博士（体育学)。2019年 4 月より産業技術総合研究所情報人間・工学領域人間拡張研究センター特別研究員, 2022 年 4 月より同研究員, 現在に
至る. 専門は, バイオメカニクス, スポーツ工学. ヒトの運動パフォーマン ス向上に関連する研究を，スポーツ工学的アプローチより進めている。

五十嵐広希：2013 年電気通信大学大学院電気通信学研究科博士課程後期中退,

工学 (博士). 日本電気株式会社, 長岡技術科学大学, 産総研等を経て, 2022 年より東京大学大学院工学系研究科, 特任研究員, 現在に至る. 専門は無人航空機（ドローン）に関する標準化や，安全工学.日本信頼性学会会員.

村井 昭彦: 東京大学大学院情報理工学系研究科博士課程修了, 博士（情報理工学)。三菱重工，ディズニーリサーチ等を経て現職。専門はロボティクス， バイオメカニクス. JST さきがけでの「DATSURYOKU: マルチレベルな介入による運動スキル獲得支援の実現」等において，ヒトの神経・筋骨格シス テムにより運動生成・制御の機序を解明し，運動力学・認知的介入により運動・感覚能力を拡張する研究を行い，ヒトをより動けるようにすることを目指す。

鷲田 祐一: 一橋大学 経営管理研究科教授 (データ・デザイン研究センター長).専門は, マーケティング, イノベーション研究. 1991 年一橋大学商学部を卒業.（株）博報堂に入社し，イノベーション・ラボ等で消費者研究，技術普及研究に従事. 2003 年にマサチューセッツ工科大学に研究留学. 2008 年東京大学大学院総合文化研究科修了（学術博士）.

永井由佳里 : 国立大学法人北陸先端科学技術大学院大学理事・副学長・教授. 1989 年武蔵野美術大学大学院修士課程修了 (造形学), 2002 年千葉大学大学院博士課程修了 (学術), 2009 年シドニー工科大学大学院博士課程修了 (Computing Sciences). 日本学術会議連携会員. 専門は知識科学, デザイン学, 特に創造性.日本創造学会会長.

$(2022$ 年 12 月 1 日 $\quad$ 受付 $)$
$(2023$ 年 3 月 1 日 再受付 $)$
$(2023$ 年 4 月 12 日 採録)