# 視覚と言語によるナビゲーション課題への 言語に対応付けられた生成的な方策

栗田修平
理化学研究所, JST さきがけ
shuhei.kurita@riken.jp
}

Kyunghyun Cho
New York University, CIFAR
kyunghyun. cho@nyu. edu

## 1 はじめに

人間の持っている日常的な知覚を理解し，人間か ら与えられた指示に従って判断し行動するシステム の構築には，人間の知覚する環境に近い条件でモデ ル学習を行なっていくことが自然だろう。このよう なアイディアは古くから存在した ${ }^{11}$ が，近年，実世界を模した仮想の環境を利用し，仮想のモデルエー ジェントが環境内部の移動などのインタラクション を通してモデル学習を行うことが現実となりつつ ある。このような人工知能分野は, Embodied AI (身体化された $\mathrm{AI}$; 具体化された $\mathrm{AI}$ ) と呼ばれ, 急速な データセットや環境整備 $[2,3,4,5,6,7,8,9,10]$ と ともに活発なモデル提案 $[11,12,13,14,15,16]$ が行 われ，現実世界への応用 $[17,18]$ も試みられ始めて いる.この一つである視覚と言語によるナビゲー ション (vision-and-language navigation; VLN) 課題 [3] は，図1のように，内部を移動できる写実的な仮想 の $3 \mathrm{D}$ 屋内環境を利用し，与えられた自然言語によ る指示に従って仮想モデルエージェントに未知の屋内環境を探索させ，言語指示文章に示された通りに 目的の場所まで移動するものである。

視覚と言語によるナビゲーションが目指すところ は，かなり現実に近い環境で人間の指示を理解し従 うシステムの作成である.このようなシステムでは 言語指示に従って動作する課題と，言語と視覚や動作との対応付け課題の双方が求められる. この $2 \supset$ は異なる課題である [19]が，既存手法では，指示に 従って動作選択を行うことを目標としており，言語 と視覚や動作との対応付けについては，相互アテン ションなどで取り扱われるのみで明確ではなかっ た. 提案手法では，まず視覚や動作情報を，条件付言語モデル²)を用いて明示的に言語情報に写像し，

写像を利用して指示文章に従い次の動作を選択す る. 加えて，提案手法による言語モデルの予測スコ アを利用することで，視覚や動作情報を元にどのよ うな言語情報に着目してモデルが判断を行なったの か，可視化することが可能となった.

## 2 視覚と言語によるナビゲーション

視覚と言語によるナビゲーション (VLN) は，内部 を移動でき場所に応じた視覚情報が得られる仮想環境を利用して，与えられた言語指示に示された方法で仮想のモデルエージェントを目的の位置まで 移動する課題である [3]. 広く利用されているデー タセットとして，現実の家屋内の 3D スキャンであ る Matterport3D [20] による写実的な視覚情報を利用 した R2R [3] と R4R [8] が存在する．R2R は，3D ス キャン内部にモデルエージェントが移動できるグ ラフを作成し，エージェントの動作開始地点から課題の目的位置までの最短経路に対して，人手による エージェントへの経路指示文章がアノテーションさ れている．R2R はモデルが学習時に未知であった建物環境への汎化能力を測定することを目的としてお り, Matterport3D の 90 棟分の建物屋内スキャンを，学習データ, 未知 (unseen) 開発データ, 未知テスト データへと $61: 11: 18$ の割合で分割する。それぞれ に経路と言語指示アノテーションが作成され，例え ば学習データは 14,025 個の経路アノテーションを 含む．また，学習データと建物スキャンを共有する 既知 (seen) 開発データが用意されている.

VLN の問題定式 VLN は，反復的な意思決定問題である。まず課題試行の開始前に，仮想環境中の モデルエージェントに現在位置から目的位置まで の経路指示文章 $X$ を与える. ある時刻 $t \in \mathbb{N}$ に，モ デルにはその位置に応じて視覚情報 $s_{t}{ }^{3}$ が与えら れ，次の動作 $a_{t}$ を予測する。ただし，各時刻にお

い. 近年，この 2 つの用法に混乱が見られるため注記する。

3）VLNでは一般にパノラマ画像を用いる [11].

For each action, score the instruction

Walk between the the tub and bathroom counter. Go through the opening next to the bathroom counter and into the little hallway. Wait next to the family picture hanging on the left wall.

図 1 視覚と言語によるナビゲーション課題および言語に対応付けられた生成的な方策. 時系列的で写実的な視覚情報 と動作情報を，条件付き言語モデルを用いて，最初に与えられた動作指示へと対応付け，次の動作を予測をする。

いて過去の観測情報も用いることができるため，モ デルの入力として用いることができる観測情報を $h_{t}=\left.\{s_{: t}, a_{: t-1}\right.\}$ としたとき，次の動作 $a_{t} \in \mathscr{A}_{t}$ を，例 えば確率モデルを用いて $p\left(a_{t} \mid X, h_{t}\right)$ と選択する. な お，関連研究 $[11,12,21]$ にあるように，可能な動作 の集合 $\mathscr{A}_{t}$ を動作選択において用い，各動作の分散表現を視覚情報から計算し入力として使用できる。可能な動作集合 $\mathcal{A}_{t}$ には必ず試行終了動作 “STOP" が含まれており，これを選択した地点をモデルエー ジェントの予測した目的位置とし, VLN課題の成否判定に使用する.

VLN の評価手法と R4R R2R では必ず最短経路に 沿うように経路指示文章が作成されているが，これ に対し，エージェントは文章中に指示された経路指示に従っているのか？という指摘が存在した [22]. この問題に対処するために，エージェントが行動終了時の予測目的位置のみを評価する課題の成功率 SR [3] だけではなく, 最短経路を基準とし長い経路への罰則を含む SPL [22], アノテートされた経路 とモデルの経路との近さを測る CLS [8] やnDTW, SDTW [23] が考案された. SPL，CLS やSDTW は，課題の成功率 SR に加えて，エージェントがどのく らい言語指示に従って行動したか，を示す指標であ る.また，R2R より長く必ずしも最短ではない経路 への指示に従う R4R データセットが作られた [8].

VLNでは，自分の位置情報を視覚情報から読み 取る必要がある一方で，目的の場所や経路は言語指示に従う必要がある。しかし，VLNにおいても，既存モデルが言語もしくは視覚いずれかの情報に頼 りすぎているのではないか，という指摘が存在した [24, 25]. 本研究では，このような問題に対処するた め，まず視覚および動作を入力とする言語モデルを 利用して指示情報を予測し, 次に言語指示に従った 動作選択を行うモデルを提案する。

VLN の現実世界への応用 また，R2R データセッ トを利用して機械学習されたモデルを，現実世界の中を移動できるロボット上にデプロイし，ロボッ トを動かすことが可能である。関連研究 [18] では, R2R における SoTA モデルであった EnvDrop[21]を，家庭用掃除ロボットに類似する小型のロボットに 搭載させ，パノラマ画像に相当する $3 \mathrm{D}$ カメラを搭載することで，現実の建物内で動作実験を行ってい る. 機械学習による VLN モデルの構築と現実世界 でのロボット等の動作との関係性は，この論文の本旨から外れるため付録にて議論する。

## 2.1 言語に対応付けられた生成的な方策

言語および視覚情報によるナビゲーション課題で は，以下のように学習パラメータ $\theta$ を最適化する：

$
\max _{\theta} \sum_{t} \log p\left(a_{t} \mid h_{t}, X\right)
$

既存手法では, この式における $p\left(a_{t} \mid X, h_{t}\right)$ を直接モデリングし, 深層学習により学習していた [3,11,12, 14, 21, 26, 27].

提案手法では，まず動作情報および視覚情報から 言語情報へと条件付き言語モデルを利用する写像変換を行い，写像変換の結果を利用して動作選択を行 うモデルを提案した. 本研究では，まず $p\left(a_{t} \mid X, h_{t}\right)$ に対し以下の式変形を行った。

$
\begin{aligned}
p\left(a_{t} \mid h_{t}, X\right) & =\frac{p\left(X \mid a_{t}, h_{t}\right) p^{\prime}\left(a_{t} \mid h_{t}\right)}{\sum_{a_{t}^{\prime} \in A_{t}} p\left(X \mid a_{t}^{\prime}, h_{t}\right) p^{\prime}\left(a_{t}^{\prime} \mid h_{t}\right)} \\
& =\frac{p\left(X \mid a_{t}, h_{t}\right)}{\sum_{a_{t}^{\prime} \in \mathscr{A S}_{t}} p\left(X \mid a_{t}^{\prime}, h_{t}\right)}
\end{aligned}
$

ここで，ある時刻 $t$ で可能な動作集合 $\mathscr{A}_{t}$ に対し， $p^{\prime}\left(a_{t} \mid h_{t}\right)=1 /\left|\mathscr{A}_{t}\right|$ という近似を用いた.これは仮想 エージェントについて，言語指示がなければどのよ うな動作を取る確率も一定であるものと解釈でき る.そして，視覚および動作情報から指示文章を 予測する，ある種の条件付き言語モデル $p\left(X \mid a_{t}^{\prime}, h_{t}\right)$ を深層学習を用いてモデルし, 式 2 に従って動作予測する手法を提案した. 既存手法のアプローチ は，動作の条件付き確率を予測する点で識別的

表 1 生成的な方策 (Gen.) と識別的な方策 (Disc.) の R2R 開発データセットによる性能比較結果. +Aug. は関連研究 [11] にて提案された拡張データの使用を示す. (A) Disc.+Aug. と (B) Gen.+Aug. を識別的および生成的な手法をあわせて用い る実験に使用する (A+B)．＊は back-tracking[26] の使用を示す．太字は単一モデルとして最良の性能を表す.

(Discriminative) な方策であり，提案手法はべイズ的 な意味で生成的 (Generative) な方策である.

最適化は以下のように行われる.

$
\max _{\theta} \sum_{t}\left(\log p\left(X \mid a_{t}, h_{t}\right)-\log \sum_{a_{t}^{\prime} \in \mathcal{A}_{t}} p\left(X \mid a_{t}^{\prime}, h_{t}\right)\right)
$

この第一項 $\log p\left(X \mid a_{t}, h_{t}\right)$ は正解動作 $a_{t}$ が与えられ た際の通常の言語モデルの学習の式と同一である が，第二項は，正解動作 $a_{t}$ を含む可能なすべての動作に対する罰則項である. 本研究では, $p\left(X \mid a_{t}, h_{t}\right)$ について, 条件付言語モデルとして学習済みのモデ ルを使用し, 式 3 によりVLNのための学習を行う.

このような定式化を採用する利点は，視覚や動作情報を条件付言語モデルを利用して言語情報と明確 に対応付け，その情報を利用して指示に従う動作を 選択することである. 既存手法のように $p\left(a_{t} \mid X, h_{t}\right)$ を直接モデリングする場合，視覚情報と言語情報の 対応付けには広く相互アテンションが用いられてき た.しかし, 相互アテンションは視覚と言語をどの ように対応付けて課題を解いているか明確でなく,片方を無視して予測を行うことも起こりうる ${ }^{4)}$. 提案手法では，条件付き言語モデル $p\left(X \mid a_{t}, h_{t}\right)$ をモデ ルに取り入れることで，まずは視覚情報及び動作情報を指示文章へ明確に結びつける必要がある． 3.3 節では，このような条件付言語モデルによる指示文章の予測スコアが，VLNの探索のために学習済みの モデル内部でどのように振る舞うか検証する。

## 3 実験

## 3.1 実験設定・モデル

VLNにて広く使われる R2R データセットにて，生成的な方策と既存手法による識別的な方策のい ずれが優れているか，比較実験を行った. 実験に

は，関連研究 D. Fried らの Speaker-follower モデル [11] と同一構造を持つニューラルネットワークを 用いた. Speaker-follower モデルは，視覚情報と言語指示を入力としナビゲーション課題を解く Follower モデルと，動作情報および動作に従った際の視覚情報から言語指示文章を生成する Speaker モデルか らなる. 特に Speaker モデルには単独で R2R ナビ ゲーション課題を解く能力はないが，D. Fried らは， Speaker モデルを R2R データセットのデータ拡張 (data augmentaton) および，ビーム探索を利用したナ ビゲーション5)結果の再ランキングに Follower と合 わせて使用した。

本研究では，このD. Fried らの Speaker モデルを言語に対応付けられる生成的な方策に用いる。画像情報の符号化には ResNet-152 [29] を使用する。また， D. Fried らの Follower モデルを，既存手法にて典型的に用いられる識別的な方策として同様に学習に 用いる。学習には PRESS [27] と同様の学習を用い る6).また，FAST [26] にて提案された，モデルエー ジェントが以前に自分が訪れた場所まで行動罰則付 きで戻る事ができる back-tracking をモデルの評価時 に採用した場合の結果を示す. Fried らによって公開されているデータ拡張された学習データが広くモ デル学習に採用されていることを考慮し, 多くの関連研究 $[11,27,26]$ と同様にこの拡張データを学習に 使用する7)．実験では，先に紹介した主な評価尺度 である SR, SPL, CLS, nDTW, SDTW に加えて，エー ジェントの平均探索距離 PL，タスク終了時の目的地への平均距離 NE を補助的に示す.

5） R2R ナビゲーション課題でビーム探索を使用することは，現実世界では同時に複数台のロボットを使用して目的位置を 探索することに相当し，あまり意味のある実験設定とは言え ないため，本論文では考察しない。

6）なお，PRESS はBERT を使用しており，本研究と同じく事前学習済みモデルを使用するモデルである.

7） EnvDrop [21] ではさらに多くの拡張データを使用している.

表 2 R2R テストセットにおける比較.太字は SR と SPL が一番目，二番目に良いモデルを示す.

図 2 トークンごとの予測エントロピー $(1-T E N T)$. 縦軸は時刻 $t$ と $1-T E N T$ の振幅を表す. 横軸は指示文章中のトー クンであり，“Take a right and walk out of the kitchen. Take a left and wait by the dining table.”に対応する.

## 3.2 実験結果

まず，R2R における生成的な方策と既存手法にお いて典型的な識別的方策との比較を，R2R の開発 データセットで行った. 結果を表 1 に示す. データ 拡張済みの学習データでは生成的な方策は識別的 な方策を常に上回ることがわかる。また，生成的な 方策と識別的な方策をモデル評価時に結合したモ デル (Gen.+Disc) はそれらをさらに上回るとともに， back-tracking [26] の使用により改善が見られる.

次にテストセットで既存手法との比較を行った。結果を表 2 に示す. 提案手法は，R2R 評価において 広く使われる SR および SPL の両方の評価尺度に $\tau$ ，先行研究と同等以上の性能を達成している.

また，R2R よりも長距離の経路指示に従う R4R で も実験を行った．結果の詳細は付録に示すが，概略 を述べると，R4R の未知セットの性能にて生成的な 方策は識別的な方策を常に上回り，提案手法は CLS にて先行研究と同等以上の性能を達成した.

## 3.3 言語に対応付けられた説明性

最後に，提案手法による言語予測スコアが，各時刻でのエージェントの動作決定にどのような影響を 及ぼしているのか検証するため，トークンごとの予測エントロピー (TENT)を導入した. TENT は，あ
るトークンの予測スコアが動作の集合の中でどの くらい変化するかエントロピーを用いて導出して おり，1-TENT が大きいトークンほど，動作予測 に大きな影響を持つと考えられる．紙面の制約で $1-T E N T$ 導出の詳細は付録に記す. 図 2 は，既知評価セットのデータ例について，1-TENT を図示 したものである. 動作の開始時 $(t \sim 0)$ には，トーク ン予測が安定しない性質がある（グラフ振幅が大き い）ものの，各時刻において，予測の要となりやす いトークンが視覚化されており，例えば， $t=3$ で は, “take a left” の “left” という単語予測スコアが,動作選択の決め手になったことを示唆している.

## 4 結論

視覚と言語によるナビゲーションは，人間の知覚環境に近い仮想環境上で機械学習を行う革新的な課題であるが，しかし，言語と視覚やその他の情報が どのように対応付けられているか，既存手法では明 らかではない側面があった．提案手法のアプローチ が，このように視覚と言語，動作など複数のモダリ ティを結合するシステムを作成するための重要な示唆となることを願ってやまない。

謝辞 本研究は JST ACT-I，JPMJPR17U8 および JST さきがけ，JPMJPR20C2 の支援を受けた．NYU 訪問 につき関根聡先生および関係する皆様に感謝する。

## 参考文献

[1] Terry Winograd. Procedures as a representation for data in a computer program for understanding natural language. 1971.

[2] Yi Wu, Yuxin Wu, Georgia Gkioxari, and Yuandong Tian. Building generalizable agents with a realistic and rich $3 \mathrm{~d}$ environment. arXiv preprint arXiv:1801.02209, 2018.

[3] Peter Anderson, Qi Wu, Damien Teney, Jake Bruce, Mark Johnson, Niko Sünderhauf, Ian Reid, Stephen Gould, and Anton van den Hengel. Vision-and-Language Navigation: Interpreting visuallygrounded navigation instructions in real environments. In Proceedings of the IEEE CVPR, 2018.

[4] Abhishek Das, Samyak Datta, Georgia Gkioxari, Stefan Lee, Devi Parikh, and Dhruv Batra. Embodied Question Answering. In Proceedings of the IEEE CVPR, 2018.

[5] Erik Wijmans, Samyak Datta, Oleksandr Maksymets, Abhishek Das, Georgia Gkioxari, Stefan Lee, Irfan Essa, Devi Parikh, and Dhruv Batra. Embodied Question Answering in Photorealistic Environments with Point Cloud Perception. In Proceedings of the IEEE CVPR, 2019.

[6] Howard Chen, Alane Suhr, Dipendra Misra, Noah Snavely, and Yoav Artzi. Touchdown: Natural language navigation and spatial reasoning in visual street environments. In Proceedings of the IEEE/CVF CVPR, June 2019.

[7] Khanh Nguyen and Hal Daumé III. Help, anna! visual navigation with natural multimodal assistance via retrospective curiosityencouraging imitation learning. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 684-695, Hong Kong, China, November 2019.

[8] Vihan Jain, Gabriel Magalhaes, Alexander Ku, Ashish Vaswani, Eugene Ie, and Jason Baldridge. Stay on the path: Instruction fidelity in vision-and-language navigation. In Proceedings of the 57th Annual Meeting of the ACL, pp. 1862-1872, Florence, Italy, July 2019.

[9] Mohit Shridhar, Jesse Thomason, Daniel Gordon, Yonatan Bisk, Winson Han, Roozbeh Mottaghi, Luke Zettlemoyer, and Dieter Fox. ALFRED: A Benchmark for Interpreting Grounded Instructions for Everyday Tasks. In The IEEE CVPR, 2020

[10] Manolis Savva*, Abhishek Kadian*, Oleksandr Maksymets*, Yili Zhao, Erik Wijmans, Bhavana Jain, Julian Straub, Jia Liu, Vladlen Koltun, Jitendra Malik, Devi Parikh, and Dhruv Batra. Habitat: A Platform for Embodied AI Research. In Proceedings of the IEEE/CVF ICCV, 2019.

[11] Daniel Fried, Ronghang Hu, Volkan Cirik, Anna Rohrbach, Jacob Andreas, Louis-Philippe Morency, Taylor Berg-Kirkpatrick, Kate Saenko, Dan Klein, and Trevor Darrell. Speaker-follower models for vision-and-language navigation. In Advances in Neural Information Processing Systems 31, pp. 3314-3325. Curran Associates, Inc., 2018.

[12] Chih-Yao Ma, Jiasen Lu, Zuxuan Wu, Ghassan AlRegib, Zsolt Kira, Richard Socher, and Caiming Xiong. Self-monitoring navigation agent via auxiliary progress estimation. In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. OpenReview.net, 2019.

[13] Xin Wang, Wenhan Xiong, Hongmin Wang, and William Yang Wang. Look before you leap: Bridging model-free and model-based reinforcement learning for planned-ahead vision-andlanguage navigation. In ECCV, September 2018.

[14] Xin Wang, Qiuyuan Huang, Asli Çelikyilmaz, Jianfeng Gao, Dinghan Shen, Yuan-Fang Wang, William Yang Wang, and Lei Zhang. Reinforced cross-modal matching and self-supervised imitation learning for vision-language navigation. In IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2019, Long Beach, CA, USA, June 16-20, 2019, pp. 6629-6638. Computer
Vision Foundation / IEEE, 2019

[15] Weituo Hao, Chunyuan Li, Xiujun Li, Lawrence Carin, and Jianfeng Gao. Towards learning a generic agent for vision-andlanguage navigation via pre-training. Vol. abs/2002.10638, 2020.

[16] Wang Zhu, Hexiang Hu, Jiacheng Chen, Zhiwei Deng, Vihan Jain, Eugene Ie, and Fei Sha. Babywalk: Going farther in vision-and-language navigation by taking baby steps. CoRR, Vol. abs/2005.04625, , 2020.

[17] Jun Hatori, Yuta Kikuchi, Sosuke Kobayashi, Kuniyuki Takahashi, Yuta Tsuboi, Yuya Unno, Wilson Ko, and Jethro Tan. Interactively picking real-world objects with unconstrained spoken language instructions. In Proceedings of ICRA, 2018.

[18] Peter Anderson, Ayush Shrivastava, Joanne Truong, Arjun Majumdar, Devi Parikh, Dhruv Batra, and Stefan Lee. Sim-to-real transfer for vision-and-language navigation. In CoRL, 112020.

[19] Ludwig Wittgenstein. Philosophische untersuchungen. 1953.

[20] Angel Chang, Angela Dai, Thomas Funkhouser, Maciej Halber, Matthias Niessner, Manolis Savva, Shuran Song, Andy Zeng, and Yinda Zhang. Matterport3D: Learning from RGB-D data in indoor environments. International Conference on 3D Vision (3DV), 2017.

[21] Hao Tan, Licheng Yu, and Mohit Bansal. Learning to navigate unseen environments: Back translation with environmental dropout. In Proceedings of the 2019 Conference of the NAACL, Volume 1 (Long and Short Papers), pp. 2610-2621, Minneapolis, Minnesota, June 2019

[22] Peter Anderson, Angel X. Chang, Devendra Singh Chaplot, Alexey Dosovitskiy, Saurabh Gupta, Vladlen Koltun, Jana Kosecka, Jitendra Malik, Roozbeh Mottaghi, Manolis Savva, and Amir Roshan Zamir. On evaluation of embodied navigation agents. ArXiv, Vol. abs/1807.06757, , 2018.

[23] Gabriel Ilharco, Vihan Jain, Alexander Ku, Eugene Ie, and Jason Baldridge. General evaluation for instruction conditioned navigation using dynamic time warping. In Visually Grounded Interaction and Language (ViGIL), NeurIPS 2019 Workshop, Vancouver, Canada, December 13, 2019, 2019.

[24] Ronghang Hu, Daniel Fried, Anna Rohrbach, Dan Klein, Trevor Darrell, and Kate Saenko. Are you looking? grounding to multiple modalities in vision-and-language navigation. In Proceedings of the 57th Annual Meeting of the ACL, pp. 6551-6557, Florence, Italy, July 2019.

[25] Jesse Thomason, Daniel Gordon, and Yonatan Bisk. Shifting the baseline: Single modality performance on visual navigation \& QA. In Proceedings of the 2019 Conference of the NAACL, Volume 1 (Long and Short Papers), pp. 1977-1983, Minneapolis, Minnesota, June 2019.

[26] Liyiming Ke, Xiujun Li, Yonatan Bisk, Ari Holtzman, Zhe Gan, Jingjing Liu, Jianfeng Gao, Yejin Choi, and Siddhartha Srinivasa. Tactical rewind: Self-correction via backtracking in vision-andlanguage navigation. In The IEEE CVPR, June 2019.

[27] Xiujun Li, Chunyuan Li, Qiaolin Xia, Yonatan Bisk, Asli Celikyilmaz, Jianfeng Gao, Noah A. Smith, and Yejin Choi. Robust navigation with language pretraining and stochastic sampling. In Proceedings of the 2019 Conference on EMNLP-IJCNLP, pp. 1494-1499, Hong Kong, China, November 2019.

[28] Sarah Wiegreffe and Yuval Pinter. Attention is not not explanation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 11-20, Hong Kong, China, November 2019. Association for Computational Linguistics.

[29] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In 2016 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2016, Las Vegas, NV, USA, June 27-30, 2016, pp. 770-778. IEEE Computer Society, 2016.

表 3 生成的な方策 (Gen.) と識別的な方策 (Disc.) の R4R データセットにおける性能比較.太字は未知データセットにて CLS，nDTW，SDTW が一番目，二番目に良いモデルを示す.

## A 付録

## A. 1 機械学習による VLN モデルの構築と，現実世界でのロボット等の動作との関係性

VLNにより学習されたモデルは，現実世界のロボットにデプロイすることが可能である．関連研究 [18] は，R2R のように予め経路グラフが作成されアノテーションされた状態で，仮想環境上で $55.9 \%$ という SR に対し，現実世界で $46.8 \%$ という SRを達成している。 さらに驚くべきことに，事前に収集されたマップ情報 がない場合でも， $22.5 \%$ という SRを達成している. マップ情報が存在しない場合，関連研究 [18] では，自己 の近傍位置からエージェントの次の移動可能な方向を予測する subgoal モジュールおよび $\left.\mathrm{SLAM}^{8}\right)$ と同時に 機械学習モデルである VLN エージェントを使用することで，移動可能な方向を導出し，実際の移動を可能 にしている。また，Matterport3D 環境と，実際にロボットを動かすための ROS シミュレータ上での精度が， EnvDrop モデル [21] における実験で 1\%以内で一致したという.

## A. 2 R4Rによる実験結果

表 3 は R4R における実験結果を示す．R4R では，経路上での単純な教師あり学習 (supervised) と，言語指示された経路に沿う形での学習 (fidelity-oriented) の 2 つのモデル学習を，識別的 (Disc.) および生成的 (Gen.) な方策の双方に対し行った。なお，R4R データセットにはテストセットが存在しないため，既知 (seen) 開発 セットと未知 (unseen) 開発セットでの結果を示す. R4R の既存手法では SR が高いわりに CLS や SDTW が低 いものも存在し，これは指示文書にて示された経路に従わずに目的位置を探索している可能性を示唆する.提案手法は一般に未知データセットにおけるスコアが高く，学習環境に過適合しにくい可能性がある.

## A. 3 言語に対応付けられた説明性

本論文では，言語モデルに与えられる動作入力に応じて，言語モデルの予測がどのように変化するかを 可視化するため，トークンごとの予測エントロピー (TENT) を提案した. 指示文章 $X=\left[w_{1}, \cdot, w_{k}, \cdot\right]$ に対し， $T E N T=S\left(w_{k}\right)$ は以下のように定義され， $S\left(w_{k}\right) \in[0,1]$ を満たす.

$
\begin{gathered}
S\left(w_{k}\right)=-\sum_{a_{t} \in \mathcal{A}} q\left(a_{t}, w_{k}\right) \log _{|\mathscr{A}|} q\left(a_{t}, w_{k}\right), \\
q\left(a_{t}, w_{k}\right)=\frac{p\left(w_{k} \mid a_{t}, h_{t}, w_{: k-1}\right)}{\sum_{a_{t} \in \mathcal{A}_{t}} p\left(w_{k} \mid a_{t}, h_{t}, w_{: k-1}\right)} .
\end{gathered}
$

式 5 はトークン予測スコアの動作集合による正規化を行っている. ここで， $\sum_{a_{t} \in A_{t}}$ は，ある時刻 $t$ での可能 な動作集合 $A_{t}$ 要素全てに対する和であることを思い起こすと，このトークンごとの予測エントロピーは， そのトークン予測スコアが動作入力に応じてどのように変化するかを示す指標となる．さらに，可視化の都合上，1-TENTを考えると，1-TENT が大きいトークンほど，動作予測に大きな役割を持つと考えられる.


# 文脈を考慮した句の平易化

河原井 翼
北陸先端科学技術大学院大学
s1910074@jaist.ac.jp

## 1 はじめに

テキストの平易化は，文もしくは文章を同じ意味 を持つ易しい表現に言い換える技術である。難解な テキストを子供や日本語を母語としない人にも理解 しやすいようなテキストに直すなど，多くの応用場面がある。2 節で論じるように，日本語を対象とし た平易化の先行研究の多くは単語の言い換えを対象 としていた。すなわち, 文中に出現する難しい単語 を同じ意味を持つ易しい単語に置き換える。しかし ながら，人が文を易しく言い換える際には，句，節， あるいは文全体を言い換えることもあり，単語単位 の言い換えだけでは不十分である。本研究では，句 を単位にテキストを平易化する手法を探究する [1]. ただし, 平易化の対象とする句は，連続する「名詞助詞-動詞」という単語列に限定する。句を単位と した言い換えにより, 多様な平易化テキストを生成 することを狙う。さらに，文脈を考慮して難解な句 を平易な句に適切に言い換える手法を探究する。

## 2 関連研究

梶原と山本は, 国語辞典の語釈文から平易な単語 の言い換えルールを獲得することで, 小学生のため の文書読解支援に向けたテキストの平易化を実現し ている [2]. 言い換え後の平易な単語を選択するた めの様々な手法を比較し, シソーラスに基づく単語 の類似度を用いた平易化が最も良いと結論づけてい る. Kriz らは, 語彙的特徴と文脈的特徴を利用した 難解語抽出モデルによって難解語を検出し，文脈を 考慮した平易な単語への言い換えモデルを実現して いる [3]. 文脈を考慮することで従来手法よりも高 い精度で難解語を抽出でき，また文脈に応じた好ま しい言い換えが実現できることを示した，梶原と小町は，難解なテキストと平易なテキストからなるパ ラレルコーパスを自動構築し，これを訓練デー夕と して難解なテキストを平易なテキストに翻訳するモ デルを学習することで平易化を実現している [4].

\author{
白井 清昭 \\ 北陸先端科学技術大学院大学 \\ kshirai@jaist.ac.jp
}

先行研究 $[2,3]$ は, 単語単位の言い換えを実現す る手法であり、句を対象とした平易化ではない. 先行研究 [4] は文全体を言い換えるモデルであり，単語だけでなく句の言い換えも含まれるが，ユーザの 要求に応じて平易化する句としない句を分けると いった調整が難しい. これらに対し, 本研究では,単語や文ではなく難解な句を入力として，これを平易な句に言い換える手法を探究する。

## 3 提案手法

## 3.1 概要

ある文脈に「 $N-P-V\lrcorner と い う$ 句が出現するとき，こ れを平易かつ同じ意味を持つ別の句に言い換える. ここで $N$ は名詞， $P$ は助詞， $V$ は動詞である。平易化の際には文脈を考慮する。すなわち，句 $N-P-V$ を 言い換えたとき，それを含む元の文の意味が変わつ たり不自然にならないことに留意する。

言い換えは以下の 3 種類の手法で実現する。

-名詞のみの言い換え 名詞 $N$ をより平易な別の名詞に言い換える。 (例) 果敢-に-挑む $\rightarrow$ 積極的-に-挑む

$\cdot$動詞のみの言い換え 動詞 $V$ をより平易な別の動詞に言い換える。 (例) 果敢-に-挑む $\rightarrow$ 果敢-に-挑戦する
- 名詞，動詞の言い換え

$N, V$ ともに平易な別の単語に言い換える。

(例) 果敢-に-挑む $\rightarrow$ 積極的一に-挑戦する

これらの手法で生成した言い換え候補のそれぞれ について，その妥当性をスコア付けし，最終的に最適なものをひとつ選択する。

## 3.2 平易言い換え単語対の収集

名詞もしくは動詞を平易に言い換えるため，難解語と平易語の組から構成される平易言い換え単語対 のデータベースを用意する。データベースは以下の

2つの辞書を用いて構築する.
- SNOW D2: 内容語換言辞書 [5]

形態素解析ツール Juman の内容語辞書項目を 人手で言い換えた辞書.この辞書では, 言い換 え後の単語は必ずしも言い換え前よりも平易で はない。そこで, 日本語教育語彙表 [6] を参照 し, 言い換え前, 後の語が日本語教育語彙表に 揭載されていて，かつ言い換え後の単語のレべ ルが言い換え前の単語のレベルよりも低い組を 選別する。言い換え対の数は 1,734 である。
- Simple PPDB : Japanese [7]

日本語単語の平易な言い換え辞書. 難解語,平易語, 難解語・平易語の難易度, 言い換え確率の組から構成される。本研究では, 言い換え 確率が 0.1 以上のデータを選別して使用する. また，前述の SNOW D2 にあわせて，難易語，平易語がともに日本語教育語彙表に掲載されて いて，かつ言い換え後のレベルが低い組を選別 する。言い換え対の数は 10,351 である.

## 3.3 平易化する句の検出

与えられた文の形態素解析を行う。形態素解析 ツールとして MeCab[8], 辞書として mecab-ipadicNEologd[9]を用いる. 次に, 名詞, 助詞, 動詞の連続を句として抽出する. この際, 動詞は基本形に変換する，名詞，動詞がともに平易言い換え単語対 データベースの難解語として登録されているとき,平易化の対象句とする.

## 3.4 平易句のスコア付け

平易化の対象句 $P h=N-P-V$ に対し, 平易言い換 え単語対データベースを用いて, 名詞のみ, 動詞の み，名詞と動詞の両方を別の単語に言い換えて，言 い換え後の平易句の候補 $P h_{i}^{\prime}=N_{i}^{\prime}-P-V_{i}^{\prime}$ を得る. $P h_{i}^{\prime}$ のそれぞれのスコアを計算し，それが最大となる $P h_{i}^{\prime}$ を選択する，スコアは 2 の観点から算出する。 ひとつは, 正確性, すなわち言い換え前後で意味を 保持しているかどうかという観点, もうひとつは流暢性，すなわち言い換え後の句がどれだけ自然な句 であるかという観点である.

## 3.4.1正確性のスコア

$S$ を元の句 $P h$ を含む文, $S_{i}^{\prime}$ を $P h$ を $P h_{i}^{\prime}$ に言い 換えた後の文とする，正確性 (faithfulness) のスコア $F A\left(P h_{i}^{\prime}\right)$ を式 (1)のように定義する.

$
F A\left(P h_{i}^{\prime}\right)=\cos \left(\vec{S}, \vec{S}_{i}^{\prime}\right)
$

$\vec{S}, \vec{S}_{i}^{\prime}$ は文 $S, S_{i}^{\prime}$ の分散表現, $\cos$ はコサイン類似度 である。すなわち, 平易化前の文と後の文の分散表現が似ているほど，Phí正確性は高いとみなす.言い換え対象の句だけでなくそれを含む文全体の類似度を考慮することで，言い換え後の平易句が文脈 に沿って適しているかを評価する。

文の分散表現は Sentence BERT[10] を用いて得る.

Sentence BERT は, 事前学習した BERT(Bidirectional Encoder Representationsfrom Transformers)[11] を基に， Siamese Network を用いた fine-tuning によって文の 分散表現を学習するモデルである。本研究では Sentence BERT 日本語モデル [12]を利用する.

## 3.4.2 流暢性のスコア

言い換え後の句 $P h_{i}^{\prime}$ の流暢性 (fluency) のスコア $F L\left(P h^{\prime}\right)$ を式 (2)のように定義する.

$
F L\left(P h_{i}^{\prime}\right)=\frac{\operatorname{count}\left(P h_{i}^{\prime}\right)}{\sum_{j} \operatorname{count}\left(P h_{j}\right)}
$

式(2)の分子は句 $P h_{i}^{\prime}$ のコーパスにおける出現頻度,分母は全ての句の出現頻度の和である。すなわち,句 $P h_{i}^{\prime}$ がコーパスによく出現するほど，その句は自然な句であるとみなす。

句の出現頻度 $\operatorname{count}\left(P h_{j}\right)$ は京都大学格フレーム Ver 2.0 を用いて算出する. このデータはウェブから 収集した日本語 100 億文から自動構築した格フレー ムであり, 用言と格要素の頻度, すなわち $N-P-V$ と いう句の頻度の情報も付与されている. 本研究では $N-P-V$ の頻度をそのまま $\operatorname{count}\left(P h_{j}\right)$ として用いる.

## 3.4.3 平易句のスコアの定義

最終的に句のスコアは $F A\left(P h^{\prime}\right)$ と $F L\left(P h^{\prime}\right)$ の対数の重み付き和で算出する。この際, 式 (3) と (4)の 2 通りのスコアを提案する。

$
\operatorname{Score} 1\left(P h_{i}^{\prime}\right)=\alpha \log F A\left(P h_{i}^{\prime}\right)+\log F L\left(P h_{i}^{\prime}\right)
$

正確性のスコア $F A\left(P h_{i}^{\prime}\right)$ は言い換え前後の文の分散表現のコサイン類似度なので，多くは 1 に近い値を 取るのに対し, 流暢性のスコア $F L\left(P h_{i}^{\prime}\right)$ は句の相対出現頻度であるため, $1.0 \times 10^{-8}$ 付近の小さい値を 取る. Score 1 では, パラメ夕 $\alpha$ は両者のスケールを 合わせるために用いる．正確性と流暢性のスコアを 同程度に評価することに注意していただきたい.
$\alpha$ は次のように決める. 4.1 項で後述する開発 データ (元の句とそれを平易化した句の集合) におけ る全ての事例について $F A\left(P h^{\prime}\right), F L\left(P h^{\prime}\right)$ を算出し， それぞれの中央値 $M e_{f a}$ と $M e_{f l}$ を求め, $\alpha=\frac{M e_{f l}}{M e_{f a}}$ とする.

$\operatorname{Score} 2\left(P h_{i}^{\prime}\right)=\beta \alpha \log F A\left(P h_{i}^{\prime}\right)+(1-\beta) \log F L\left(P h_{i}^{\prime}\right)$

Score 2 におけるパラメ夕 $\alpha$ は, Score 1 と同様に，2 つのスコアのスケールを合わせるためのものであ り，前述のように開発デー夕を用いて決める。一方，パラメ夕 $\beta$ は, 正確性と流暢性のスコアに対す る重み付けである。

## 3.5 句の選択

予備実験では, 式 (3) または (4) が最大となる句を 選択したところ, 名詞と動詞の両方を言い換える句 よりも，名詞もしくは動詞のいずれかを言い換えた 句が多く選ばれる傾向が見られた。これは，正確性 のスコアFA は言い換え前後の文の類似度なので，単語を 2 つ置換した場合よりも 1 つだけ置換した 場合の方が高くなる傾向があるためと考えられる。一方, 本研究の目的は句を対象とした言い換えであ り，名詞と動詞の両方を言い換えた句をできるだけ 生成したい。そこで，以下の方式により言い換え候補の中から句を選択する。

1. 名詞と動詞の両方を言い換えた平易句のスコア の値が間値 $T$ よりも大きいとき，つまり平易化 された句として妥当である可能性が高いとき， それを選択する。

2. そのような句がないとき，全ての候補の中から スコアが最大のものを選択する。

閾値 $T$ は Score 1 と Score 2 とで個別に設定する. 設定方法については 4.2 項で述べる.

## 4 評価実験

## 4.1 データセット

まず，開発デー夕を作成した。毎日新聞の 2013 年の記事から， 3.3 項で述べた手法を用いて平易化 の対象とする句，およびそれを含む文を 500 件抽出 した。これらの句を提案手法によって平易な句に言 い換えた。さらに，正確性を満たすか否か，自然さ を満たすか否か，(両者を考慮して) 平易句として妥当であるか否か，を人手で判定した。この開発デー夕は，パラメータ $\alpha や T$ の最適化に用いた。

次に，評価デー夕を作成した。毎日新聞の 2013 年の記事から平易化の対象とする句を 100 件抽出 した。これらは開発データとは異なる句を選んだ。評価デー夕に対し, 著者 2 名が独立して以下のアノ テーションを行った。

・元の句 $P h$ を含む文，およびそれを平易句の候補 $P h_{i}^{\prime}$ に置き換えた文を全て提示し，その中か ら平易な言い換えとして最も適切なものを選ん だ。ここで最も適切な平易句とは，子供や日本語を非母語話者とする人に最もわかりやすい表現とした。
- 提案手法によって生成された平易句 ${ }^{11}$ に対し,平易さ (元の句と比べて易しくなっているか),意味の保持 (元の句と比べて意味が変わってい ないか), 自然さ (言い換え後の文が自然か) とい う 3 つの観点から，1５までの評点をつけた。

## 4.2 パラメータの決定

3.4.3で述べたパラメータ $\alpha$ の決定について述べ る。開発デー夕に対して生成された全ての平易句の 候補についての $\log F A\left(p h_{i}^{\prime}\right)$ と $\log F L\left(p h_{i}^{\prime}\right)$ の中央値 は, $M e_{f a}=-0.0111, M e_{f a}=-16.9$ となった. これ に従い, $\alpha=\frac{M e_{f l}}{M e_{f a}}=\frac{-16.9}{-0.0111}=1.54 \times 10^{3}$ と決めた.

3.5 項で述べた，名詞，動詞の両方を言い換えた 平易句を優先して選択するための閾値 $T$ の決定に ついて述べる，基本的に，閾値 $T$ は，生成した平易句が適切である可能性が高いスコアの値を設定 する．Score1を用いるとき，開発デー夕において，正確性のスコアが閾値 $t$ のときに平易句が正確性 を満たすと判定したとき， $t$ を X 軸，判定精度を $\mathrm{Y}$軸としたグラフを得る (図 1(a)). 同様に，流暢性に ついて閾値 $t$ を変化させたときの判定精度の変化 も調べる (図 1(b))。これらの精度は, 開発デー夕の うち名詞，動詞を両方言い換えた句が選択された データのみを使用して算出する。こ机 2 つのグラ フでは，閾値 $t$ をきくすると精度が高くなる傾向が見られる，精度が十分に大きいとき，具体的 には図 1(a) で精度が 0.7 になるときの閾値 $T_{f a}$ は 0.994, 図 1(b) で精度が 0.8 になるときの閾値 $T_{f l}$ は $2.33 \times 10^{-7}$ であった.これらを式 (3) に当てはめ, $T=\alpha \times \log T_{f a}+\log T_{f l}=-24.5$ と設定した.

同様に，Score2を用いて句を選択する際の閾値

(a) 正確性

(b) 流暢性

図 1 開発データにおける平易句判定の精度 (Score 1)

図 2 開発デー夕における平易句判定の精度 (Score 2)

$T$ を決定する. 開発データにおいて, 式 (4) に示す Score 2 の値が閾値 $t$ を越えたときに平易句が妥当 であると判定したとき， $t$ を X 軸，判定精度を $\mathrm{Y}$ 軸 としたグラフを図 2 に示す. $\beta=0.25,0.5,0.75$ のそ れぞれについて，精度が 0.65 に達したときの閾値 $-15.5,-16.0,-14.0$ を $T$ と設定した。

## 4.3 実験結果と考察

提案手法では，複数の平易句の候補の中からスコ ア付けに基づいて平易句をひとつ選択するが，この 性能を評価する。具体的には, システムが選択した 平易句が人手でよって選択された正解とどれだけ一致しているかを正解率と定義し，これを測る。表 1 は, スコア付けとして正確性のスコア $F A\left(P h_{i}^{\prime}\right)$ の み, 流暢性のスコア $F L\left(P h_{i}^{\prime}\right)$ のみ, 両方 (Score 1 ま たはScore2)を用いたシステムについて，2 名の評価者を正解としたときの正解率を示している.

表 1 平易句の選択手法の評価 (正解率)

正確性あるいは流暢性のスコアのみを使用したと きよりも，両方を考慮したスコア (Score 1 や Score2) の方が正解率が高い傾向が見られる. 特に評価者 2 についてその傾向が顕著である. Score 1 と Score 2 を比較すると，Score 2 の正解率は Score 1 よりも同等もしくはそれ以上であることから，Score2 の方が 適切な平易句を選択するのに適していると言える. Score2における異なる $\beta$ の比較については, 評価者 1 と評価者 2 で優劣の傾向が異なるため, どれが最適を決めることはできない. $\beta$ の最適化は今後の課題である.

この実験では複数の平易句の中から最良のものを 選択しているが，スコアが最大の平易句ではなくて も易しい言い換えとして妥当な句が生成されている ことも多く, 何が最良の平易句なのかは判断が難し い. 評価者 1 と評価者 2 で同じ平易句を選択した割合は 0.61 であり, 決して高くはない. 提案システム の最高の正解率は 0.51 であり，二者の判定の一致率 の $84 \%$ に達している.

提案手法によって生成された平易句を「平易さ」「意味の保持」「自然さ」の観点から評価した結果を 表 2 に示す。どの観点についても，おおむね評点は 4 点以上であり, ある程度品質の高い平易句が生成 されていることを確認した。また，表 1 の正解率が 全般的に低いのに対し, 表 2 の評点が比較的高いの は，既に述べたように，システムが選択した平易句 が人手で選ばれた平易句と一致していなくても妥当 であるとみなせる場合が多かったためである.

表 2 平易句の品質評価

## 5 おわりに

本論文は，名詞-助詞-動詞という句を平易に言い 換える手法を提案し，その有効性を実験により示し た. 今後は，正確性や流暢性を測る指標を洗練し， より適切に平易句を生成する手法を探究したい. 特 に，現時点での流暢性は句の出現頻度だけを指標と しており，平易化した句に置き換えた文全体がどれ だけ自然かを評価するように改善するべきである。

2）閾値 $T$ の決め方が異なるため, Score 1 と $\operatorname{Score} 2(\beta=0.5)$ は同じシステムではない.

## 参考文献

[1]河原井翼. 句の言い換えによるテキストの平易化. 修士論文, 北陸先端科学技術大学院大学, 3 2021.

[2]梶原智之, 山本和英. 語釈文を用いた小学生のた めの語彙平易化. 情報処理学会論文誌, Vol. 56, No. 3, pp. 983-992, 2015.

[3]Reno Kriz, Eleni Miltsakaki, Marianna Apidianaki, and Chris Callison-Burch. Simplification using paraphrases and context-based lexical substitution. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 207-217, 2018.

[4]梶原智之, 小町守. 平易なコーパスを用いないテ キスト平易化. 自然言語処理, Vol. 25, No. 2, pp. 223-249, 2018.

[5]山本和英, 吉倉孝太郎. 用言等換言辞書を人手で 作りました. 言語処理学会第 19 回年次大会, pp. 276-279, 2013.

[6]日本語教育表 ver 1.0. http://jhlee.sakura.ne.jp/ JEV.html. (2020 年 12 月閲覧).

[7]梶原智之, 小町守. Simple PPDB: Japanese. 言語処理学会第 23 回年次大会, pp. 529-532, 2017.

[8]MeCab: Yet another part-of-speech and morphological analyzer. http://taku910.github.io/mecab/.

[9]佐藤敏紀, 橋本泰一, 奥村学. 単語分かち書き辞書 mecab-ipadic-NEologd の実装と情報検索にお ける効果的な使用方法の検討. 言語処理学会第 23 回年次大会, pp. 875-878, 2017.

[10]Nils Reimers and Iryna Gurevych. Sentence-BERT: Sentence embeddings using Siamese BERT-networks. In Proceedings of the Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3973-3983, 2019.

[11]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[12]園部勲. Sentence BERT 日本語モデル. https:// qiita.com/sonoisa/items/1df94d0a98cd4f209051. (2020 年 12 月閲覧).


# 言い換えラティスを用いたテキスト生成の性能改善

西原大貴
大阪大学大学院情報科学研究科
nishihara.daiki@ist.osaka-u.ac.jp
荒瀬 由紀
大阪大学大学院情報科学研究科
arase@ist.osaka-u.ac.jp

## 1 はじめに

言語構造を機械学習に導入するために，機械翻訳 $[1,2]$ や文書要約 $[3,4]$ ，対話における感情認識 [5]，抽象的意味表現 [6-10] など多くの自然言語処理タスクにおいてグラフに基づく手法が提案され ている。例えば，有向非巡回グラフの一種であるラ ティスは，テキストを単純な単語の系列ではなく単語間の構造情報を持たせて表現でき，テキストの分類 $[11,12]$ や生成 $[13,14]$ に広く活用されている.

テキスト生成タスクでは，単語分割の曖昧性 $[13,14]$ や音声認識の曖昧性 [15-19] をラティスと して表現する Lattice2Seq モデルが，最も尤度の高い 1 つの系列を用いる Seq2Seq モデルよりも高い性能 を達成することが知られている。本研究では，新た に語彙選択の曖昧性に着目し，入力テキストとその 言い換えを用いてラティスを構築する。つまり，人間が書いたテキストの中の個々の表現は，必ずしも 「それでなくてはならない」表現とは限らないとい う仮説に基づき，入力テキストの語句の言い換えを 考慮し，入力テキストの情報を増やすことによって テキスト生成の性能改善を試みる。英日翻訳および 英語のスタイル変換における実験の結果，この手法 による BLEU [20] 値の顕著な改善を確認した。

## 2 提案手法

図 1 に示すように，本研究では言い換え辞書を用 いて入力テキストを言い換えラティスに変換する.各ノードが 1 つの単語を表すラティスを構築し，入力テキストとその複数の言い換えをコンパクトに表現する.エッジは接続する 2 つのノード（単語）の 繋がりを表しており，エッジの重みは言い換えとそ の前後の単語の繋がりの良さを表現する。このよう

\author{
梶原 智之 \\ 愛媛大学大学院理工学研究科 \\ kajiwara@cs.ehime-u.ac.jp \\ 藤田 篤 \\ 情報通信研究機構 \\ atsushi.fujita@nict.go.jp
}

図 1 提案手法の全体図

に，ラティス構造を用いることで複数の言い換えを 表現でき，訓練時と評価時の両方で大力テキストの 情報を増やすことが可能となる。

## 2.1 言い換えラティスの構築

入力の単語列 $s_{1} s_{2} \cdots s_{N}$ （ $N$ は単語数）に対し,次の手順でラティス $G=(V, E)$ を構築する.

1. ラティスの初期化 Sourceノードを文頭記号 $s_{0}$, Sinkノードを文末記号 $s_{N+1}$ とし, $s_{0} \rightarrow s_{1} \rightarrow$ $\cdots \rightarrow s_{N} \rightarrow s_{N+1}$ をパスとするグラフを作る. すなわち, $V=\bigcup_{i=0}^{N+1}\left.\{s_{i}\right.\}, E=\bigcup_{i=0}^{N}\left.\{\left(s_{i}, s_{i+1}\right)\right.\}$ と する. エッジ $(a, b)$ があるとき， $a$ を $b$ の親 ノード， $b$ を $a$ の子ノードと呼ぶ.

2. 言い換えパスの追加入力テキストに含ま れるあらゆる単語 $n$-gram $(n \in\{1,2, \cdots, N\})$ $s_{i} s_{i+1} \cdots s_{i+n-1}$ のそれぞれに対し，言い換え辞書を用いて言い換えを取得し，ラティスに加え る. すなわち, 個々の句の言い換え $p_{1} p_{2} \cdots p_{M}$ が得られた時， $V \cup \bigcup_{k=1}^{M}\left.\{p_{k}\right.\}$ を新たな $V$ とし， $E \cup\left.\{\left(s_{i-1}, p_{1}\right),\left(p_{M}, s_{i+n}\right)\right.\} \cup \bigcup_{k=1}^{M-1}\left.\{\left(p_{k}, p_{k+1}\right)\right.\}$新たな $E$ とする。

図 2 統合前のラティス（例 1)

3. 重複ノードの統合 ラティスに含まれるパス の集合が変化しないように，ノードの重複を統合する．共通の単語を含む句の言い換えを適用した場合に，ノードの重複が起こる. 重複す るノード集合は実際には同一の単語を参照す るため，これを統合する．ここで，ノード集合 $V^{\prime}(\subset V)$ の統合とは， $\forall v \in V^{\prime}$ を削除し， $v$ に接続していた全てのエッジと接続する新たなノー ドを 1 つ作ることを指す. 統合の大まかな手順 としては，まずラティスを前向きおよび後ろ向 きに探索し，統合するノード集合の候補を列挙 する。次に，候補の中から実際に統合する集合 を選び，ノードを統合する。

(a) 統合候補の列挙：ノードを Source ノード からトポロジカル順1) に探索し，各ノード の子ノードのうち，単語ラベルが同じでか つ親ノードの集合が同じであるノードの 集合を列挙する. ここで列挙されたノード 集合の集合 $M_{f}=\{\{v, w\} \mid \forall u \in V, \forall v, \forall w \in$ $C(u), v$ の単語ラベル $=w$ の単語ラベル $\}$ が，統合候補となる。なお， $C(u)$ は $u$ の子 ノードの集合である. 同様に逆順にも探索 し，統合候補 $M_{b}$ を得る．ただし探索の際 には，先に見つかったノード集合から頜欲 に統合されると仮定して残りの探索を進め るが，ここではまだ実際には統合しない.

(b) ノードの統合 : $M_{f}$ 中のある候補 $A$ の要素 が $M_{b}$ で網羅されている場合， $M_{b}$ を統合す れば $A$ の統合は必要ない. そこで統合が必要な, $M_{f}$ または $M_{b}$ の片方のみに含まれ るノード $D=\left.\{v \mid \forall M \in M_{f}, \forall v \in M\right.\} \triangle\{v \mid$ $\left.\forall M \in M_{b}, \forall v \in M\right.\}^{2}$ を求める.

1）有向非巡回グラフにおけるノードのソート手法にトポロジ カルソートがある。これは, 全ての異なる 2 つのノード $a, b$ に対し $a \neq b$ かつノード $a$ からノード $b$ へ到達可能ならば $a$ が $b$ より先にくるようにノードを並べる手法である．ここで はトポロジカルソートによる並べ方をトポロジカル順と呼ぶ. 2）記号 $\Delta$ は，対称差集合を表す.

図 3 統合後のラティス (例 1)

そして，統合候補 $M_{f}$ おひひ $M_{b}$ の 各要素に対して，Dを含むノード集合 $M_{f}^{\prime}=\left.\{M \mid \forall M \in M_{f}, \exists v \in M, v \in D\right.\}$ およ び $M_{b}^{\prime}=\left.\{M \mid \forall M \in M_{b}, \exists v \in M, v \in D\right.\}$ を 選び，これらのノード集合を統合する.

以下では統合処理の具体例を示す.

例 1 単語列 $a b c d$ と言い換 $え\{a b \rightarrow a$, $\mathrm{a} b \rightarrow \mathrm{b} \mathrm{a}, \mathrm{b} c \mathrm{~d} \rightarrow \mathrm{e} c \mathrm{~d}\}$ が与えられた場合を考 える. 手順 1 および 2 により, これらの入力から図 2 のラティスを得る. ここで，文頭記号を $<\mathrm{s}>$ ，文末記号をく/s>としている.

手順 3.(a) では， $v_{0}$ の子ノード $v_{1}, v_{6}, v_{7}$ のうち $v_{1}, v_{6}$ はどちらも単語ラベルが a であり, かつ親 ノードが $v_{0}$ であるため, $M_{f}=\left.\{\left.\{v_{1}, v_{6}\right.\}\right.\}$ が前向き の統合候補（赤囲み）と同定される．逆順でも同様 に, $M_{b}=\left.\{\left.\{v_{4}, v_{10}\right.\},\left.\{v_{3}, v_{9}\right.\},\left.\{v_{6}, v_{8}\right.\}\right.\}$ が後ろ向きの 統合候補（緑囲み）と同定される。

手順 3.(b) では， $M_{f}$ と $M_{b}$ のいずれか片方のみ に含まれるノードとして $D=\left.\{v_{1}, v_{4}, v_{10}, v_{3}, v_{9}, v_{8}\right.\}$ が挙げられる. $M_{f}$ や $M_{b}$ の要素は, 全て 1 つ以上の要素が $D$ に含まれるため, $M_{f}^{\prime}=\left.\{\left.\{v_{1}, v_{6}\right.\}\right.\}$, $M_{b}^{\prime}=\left.\{\left.\{v_{4}, v_{10}\right.\},\left.\{v_{3}, v_{9}\right.\},\left.\{v_{6}, v_{8}\right.\}\right.\}$ となる.

これらの $M_{f}^{\prime}$ おび $M_{b}^{\prime}$ の各要素を統合する と, 図 3 のラティスが得られる。 なお, 図 2 に 含まれる<s>からく/s>までの全てのパスの集合 は, $P=\{\langle\mathrm{s}\rangle \rightarrow \mathrm{a} \rightarrow \mathrm{e} \rightarrow \mathrm{c} \rightarrow \mathrm{d} \rightarrow\langle/ \mathrm{s}\rangle,\langle\mathrm{s}\rangle \rightarrow$ $\mathrm{a} \rightarrow \mathrm{b} \rightarrow \mathrm{c} \rightarrow \mathrm{d} \rightarrow\langle/ \mathrm{s}\rangle,\langle\mathrm{s}\rangle \rightarrow \mathrm{a} \rightarrow \mathrm{c} \rightarrow \mathrm{d} \rightarrow$ $\langle/ \mathrm{s}\rangle,\langle\mathrm{s}\rangle \rightarrow \mathrm{b} \rightarrow \mathrm{a} \rightarrow \mathrm{c} \rightarrow \mathrm{d} \rightarrow\langle/ \mathrm{s}\rangle\}$ であるが, 図 3 のように統合しても，Pに変化はない.

例 2 手順 3.(b) が必要となる例として,図 4 のラティスからは, $M_{f}=\left.\{\left.\{v_{3}, v_{5}\right.\}\right.\}$, $M_{b}=\left.\{\left.\{v_{2}, v_{3}\right.\},\left.\{v_{5}, v_{7}\right.\}\right.\}, D=\left.\{v_{2}, v_{7}\right.\}$ が得られる. $\left.\{v_{3}, v_{5}\right.\} \in M_{f}$ の要素 $v_{3}, v_{5}$ はどちらも $D$ に含まれな いため, $M_{f}^{\prime}=\{\}$ となる. $\left.\{v_{2}, v_{3}\right.\},\left.\{v_{5}, v_{7}\right.\} \in M_{b}$ はそれぞれ $v_{2}, v_{7}$ が $D$ に含まれるため, $M_{b}^{\prime}=\left.\{\left.\{v_{2}, v_{3}\right.\},\left.\{v_{5}, v_{7}\right.\}\right.\}$ となる. $M_{f}^{\prime}$ および $M_{b}^{\prime}$ の統合を行うと，図 5 が得られる.

図4統合前のラティス（例 2)

図 5 統合後のラティス（例 2)

図 6 全ての候補を統合する失敗例
この例において，手順 3.(b)を省略，つまり $M_{f}^{\prime}=M_{f}$ として $\left.\{v_{3}, v_{5}\right.\}$ も統合した場合, 図6のラ ティスが得られる. このとき, パス $v_{0} \rightarrow v_{2 \cdot 3} \rightarrow v_{4}$ とパス $v_{0} \rightarrow v_{3.5} \rightarrow v_{4}$ で表現される単語ラベルの 系列は同じであり，またパス $v_{0} \rightarrow v_{5.7} \rightarrow v_{8}$ とパス $v_{0} \rightarrow v_{3.5} \rightarrow v_{8}$ で表現される単語ラベルの系列も同 じであるため，ノード $v_{3.5}$ およびこれに接続する エッジを削除してもラティス全体のパス集合は図 5 の場合と変わらない. 手順 3.(b) で $M_{f}^{\prime}$ および $M_{b}^{\prime}$ を 考慮することによって，重複ノードを持たない図 5 のラティスが得られる。なお，重複ノードを避ける 理由については 2.3 節で説明する.

## 2.2 エッジの重み付け

言い換えとその前後の単語の繋がりの良さを表現 するため, 2.1 節で得られたラティス $G=(V, E)$ の 各エッジに，次の手順で重み付けを行う。

1. エッジ $\left(v_{j}, v_{k}\right) \in E$ で接続されている $2 \supset の$ ノードの単語ラベルの 2-gram 言語モデルスコ アを，当該エッジの重み $w_{j k}$ とする。

2. 各ノード $v_{j}$ の出力エッジの重みの和が 1 にな るよう，エッジの重みを正規化する．具体的に は，ノード $v_{j}$ の子ノード集合 $C\left(v_{j}\right)$ を考え，

$
w_{j k}^{\prime}=\frac{w_{j k}}{\sum_{v_{l} \in C\left(v_{j}\right)} w_{j l}}
$

をエッジ $\left(v_{j}, v_{k}\right)$ の新たな重みとする.

## 2.3 Lattice2Seq モデル

言い換えラティスを大力として, Sperberら [19]の Lattice2Seq モデルでテキストを生成する. Sperber らは, Transformer [21] の符号化器における Positional Encoding (PE) と自己注意機構を改変し, ラティス 構造の入力を可能にした. PEでは, 各ノードの位置を Sourceノードからの最長距離として定義した. また，単語間の接続関係およびエッジの重みを表現表 1 実験に使用したデータセット

するために，自己注意機構にマスクを導入した。

ラティスに重複ノードが含まれる場合, PE の位置が異なる場合がある. 例えば図 6 のラティスにお いて，Sourceノード $v_{0}$ の位置を 0 とすると，同一の 単語を参照する $v_{2.3}$ と $v_{3.5}$ の位置はそれぞれ 2 と 1 であり，異なる。このため位置を表す分散表現も異 なるが，同一の単語を参照するノード同士には同一 の分散表現を割り当てたい. そこで本研究では，重複ノードを含まない言い換えラティスを設計する。

## 3 実験

提案手法の有効性を確認するため，表 1 に示す 英日翻訳および英語のスタイル変換の実験を行っ た. 英日翻訳には，田中コーパズ3)の一部である small parallel enja ${ }^{4}$ を使用した. スタイル変換には, カジュアルな英文とフォーマルな英文からなるパラ レルコーパスである $\mathrm{GYAFC}^{5)}$ [22]を使用した。本実験では, Entertainment \& Music (E\&M) と Family \& Relationships (F\&R) の両方のドメインにおいて，カ ジュアルからフォーマルへの変換を行う．評価には sacreBLEU ${ }^{6)}[20]$ で求めた BLEU 値を用いた.

## 3.1 実験設定

前処理として, Moses ツールキット7) [23] の normalize-punctuation および tokenizer を使用し た. また，本実験で使用する言い換え辞書が小文字化されているため, Moses ツールキットの lowercase

3) http://www.edrdg.org/wiki/index.php/Tanaka_Corpus

4) https://github.com/odashi/small_parallel_enja

5）評価用データは，4つの参照文を持つマルチリファレンス.

6) https://github.com/mjpost/sacrebleu

7) https://github.com/moses-smt/mosesdecoder
表 2 英日翻訳とスタイル変換（E\&M・F\&R）の BLEU

を用いて，GYAFC の入力側も小文字化した. small parallel enja は，事前に単語分割および英語の小文字化が行われているため，それに従った。両タスク で，さらに Byte Pair Encoding [24]を用いて語彙サイ ズ 32,000 のサブワード化を行った.

言い換え辞書には，PPDB 2.08) [25] のうち，英語 の Lexical および Phrasal（S サイズ）を用いた.な お，収録されている語句は，事前に小文字化され ている.ノイズの影響を抑えるため, 適用する言 い換えは PPDB 2.0 におけるスコアが $\theta$ 以上のも のに限定した。このスコアの中央値は 5.3 のため, $\theta \in\{5.1,5.2,5.3,5.4,5.5\}$ の中から，検証用データ における性能が最も高い值を選択した。

2-gram 言語モデルの訓練には， $\mathrm{CC}-100^{9}$ ) の en を 用いた. CC-100 (en) は約 556 億トークンからなる英語の大規模な単一言語コーパスである. 前処理とし て Moses ツールキットの normalize-punctuation, tokenizerおよび lowercaseを適用し, $\operatorname{KenLM}^{10)}$ [26] によって 2-gram 言語モデルを訓練した。

Lattice2Seq モデルの実装には, JoeyNMT ${ }^{11)}$ [27]を 用いた. 符号化器および復号化器には 4 層 4 ヘッド の Transformer [21]を使用した. 埋込層および隠れ 層は 512 次元とし, 符号化器と復合化器で埋込層の 重みを共有した．埋込層および隠れ層のドロップア ウト率は 0.2 とした. 最適化には Adam [28] を使用 した. バッチサイズは 4096 で，英日翻訳タスクで は 200 回，スタイル変換タスクでは 400 回パラメー タを更新するごとに検証用データにおけるパープレ キシティを評価し, 連続で 32 回改善しなくなった ところで訓練を終了した. スケジューラには plateau を用い, 初期の学習率を 0.0002 とし, 連続で 8 回改善しなくなる毎に減衰率 0.7 を乗じた。

## 3.2 比較手法

Seq2Seq 言い換えを適用しないべースライン.

表 3 PPDB 2.0 スコアの閾値 $\theta$ と検証用データの BLEU

MultiSource 入力テキストを言い換えるが，ラティ スを構築しない比較手法. PPDB に基づく言い換 え生成器 ${ }^{12)}$ [29] によって $(r-1)(r \in\{2,3,4,5\})$ 種類の言い換えを取得し，入力文を含めた $r$ 文を連結して Seq2Seq モデルに入力する. $r$ は，検証用 データにおける性能が最も高い值を選択した。

## 3.3 実験結果

表 2 亿, 英日翻訳（翻訳）およびスタイル変換 （E\&M および F\&R）の BLEU 值を示す．英日翻訳で は，提案手法は Seq2Seq と比較して 2.12 ポイント， MultiSource と比較して 2.13 ポイント，それぞれ大幅に BLEUを改善した. スタイル変換でも，提案手法は Seq2Seq から 3.03 ポイント（E\&M）および 3.90 ポイント (F\&R), MultiSource から 4.12 ポイン ト（E\&M）および 1.38 ポイント（F\&R），それぞれ 大幅に BLEU を改善した.これらの実験結果から，言い換えラティスの有効性を確認できた。

表 3 に，使用する言い換えの閾値 $\theta$ を変化させた ときの検証用データにおける評価結果を示す。 $\theta$ が 小さいと低品質な言い換えを含んでしまい，大きい と有用な言い換えを使用できないことが分かる.

## 4 おわりに

本研究では，語彙選択の曖昧性をモデル化するた めに，入力テキストおよび言い換え辞書からラティ スを構築する手法を提案した. 英日翻訳およびスタ イル変換の実験を通じて，提案手法によって性能を 大幅に改善できることを示した.

今後は，語順の交替など語句の言い換え以外の言 い換えへの拡張を検討する。また，テキスト分類な ど他のタスクにおける有効性を検証する。

## 謝辞

本研究は JST（ACT-X，課題番号: JPMJAX1907) の支援を受けたものです.

12) https://cwiki.apache.org/confluence/pages/viewpage. action?pageId=65142863

## 参考文献

[1] Liangyou Li, Andy Way, and Qun Liu. Graph-Based Translation Via Graph Segmentation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 97-107, 2016.

[2] Jasmijn Bastings, Ivan Titov, Wilker Aziz, Diego Marcheggiani, and Khalil Sima'an. Graph Convolutional Encoders for Syntaxaware Neural Machine Translation. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1957-1967, 2017.

[3] Danqing Wang, Pengfei Liu, Yining Zheng, Xipeng Qiu, and Xuanjing Huang. Heterogeneous Graph Neural Networks for Extractive Document Summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6209-6219, 2020.

[4] Wei Li, Xinyan Xiao, Jiachen Liu, Hua Wu, Haifeng Wang, and Junping Du. Leveraging Graph to Improve Abstractive MultiDocument Summarization. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6232-6243, 2020.

[5] Taichi Ishiwatari, Yuki Yasuda, Taro Miyazaki, and Jun Goto. Relation-aware Graph Attention Networks with Relational Position Encodings for Emotion Recognition in Conversations. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 7360-7370, 2020.

[6] Jie Zhu, Junhui Li, Muhua Zhu, Longhua Qian, Min Zhang, and Guodong Zhou. Modeling Graph Structure in Transformer for Better AMR-to-Text Generation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 5459-5468, 2019.

[7] Shaowei Yao, Tianming Wang, and Xiaojun Wan. Heterogeneous Graph Transformer for Graph-to-Sequence Learning. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7145-7154, 2020.

[8] Linfeng Song, Ante Wang, Su Jinsong, Yue Zhang, Kun Xu, Yubin Ge, and Dong Yu. Structural Information Preserving for Graph-toText Generation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7987-7998, 2020.

[9] Yanbin Zhao, Lu Chen, Zhi Chen, Ruisheng Cao, Su Zhu, and Kai Yu. Line Graph Enhanced AMR-to-Text Generation with MixOrder Graph Attention Networks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 732-741, 2020.

[10] Deng Cai and Wai Lam. AMR Parsing via GraphSequence Iterative Inference. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1290-1301, 2020.

[11] Yue Zhang and Jie Yang. Chinese NER Using Lattice LSTM. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 1554-1564, 2018.

[12] Xiaonan Li, Hang Yan, Xipeng Qiu, and Xuanjing Huang. FLAT: Chinese NER Using Flat-Lattice Transformer. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6836-6842, 2020.

[13] Jinsong Su, Zhixing Tan, Deyi Xiong, Rongrong Ji, Xiaodong Shi, and Yang Liu. Lattice-Based Recurrent Neural Network Encoders for Neural Machine Translation. In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, pp. 3302-3308, 2017.

[14] Fengshun Xiao, Jiangtong Li, Hai Zhao, Rui Wang, and Kehai Chen. Lattice-Based Transformer Encoder for Neural Machine Translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3090-3097, 2019.

[15] Huda Khayrallah, Gaurav Kumar, Kevin Duh, Matt Post, and Philipp Koehn. Neural Lattice Search for Domain Adaptation in Machine Translation. In Proceedings of the The 8th International
Joint Conference on Natural Language Processing, pp. 20-25, 2017.

[16] Matthias Sperber, Graham Neubig, Jan Niehues, and Alex Waibel. Neural Lattice-to-Sequence Models for Uncertain Inputs. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1380-1389, 2017.

[17] Daniel Beck, Trevor Cohn, and Gholamreza Haffari. Neural Speech Translation using Lattice Transformations and Graph Networks. In Proceedings of the Thirteenth Workshop on Graph-Based Methods for Natural Language Processing, pp. 26-31, 2019.

[18] Pei Zhang, Boxing Chen, Niyu Ge, and Kai Fan. Lattice Transformer for Speech Translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6475-6484, 2019.

[19] Matthias Sperber, Graham Neubig, Ngoc-Quan Pham, and Alex Waibel. Self-Attentional Models for Lattice Inputs. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1185-1197, 2019.

[20] Matt Post. A Call for Clarity in Reporting BLEU Scores. In Proceedings of the Third Conference on Machine Translation, $\mathrm{pp}$. 186-191, 2018.

[21] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention Is All You Need. In Proceedings of the 31st Conference on Neural Information Processing Systems, pp. 5998-6008, 2017.

[22] Sudha Rao and Joel Tetreault. Dear Sir or Madam, May I Introduce the GYAFC Dataset: Corpus, Benchmarks and Metrics for Formality Style Transfer. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 129-140, 2018.

[23] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics, Demo and Poster session, pp. 177-180, 2007.

[24] Rico Sennrich, Haddow Barry, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword Units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1715-1725, 2016.

[25] Ellie Pavlick, Pushpendre Rastogi, Juri Ganitkevitch, Benjamin Van Durme, and Chris Callison-Burch. PPDB 2.0: Better paraphrase ranking, fine-grained entailment relations, word embeddings, and style classification. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 425-430, 2015.

[26] Kenneth Heafield. KenLM: Faster and Smaller Language Model Queries. In Proceedings of the 6th Workshop on Statistical Machine Translation, pp. 187-197, 2011.

[27] Julia Kreutzer, Jasmijn Bastings, and Stefan Riezler. Joey NMT: A Minimalist NMT Toolkit for Novices. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (System Demonstrations), pp. 109-114, 2019.

[28] Diederik P. Kingma and Jimmy Lei Ba. Adam: A Method for Stochastic Optimization. In Proceedings of the 3rd International Conference on Learning Representations, pp. 1-15, 2015.

[29] Courtney Napoles, Chris Callison-Burch, and Matt Post. Sentential Paraphrasing as Black-Box Machine Translation. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Demonstrations), pp. 62-66, 2016.


# ファクトチェック支援のための含意関係認識システム

栗原健太郎
早稲田大学基幹理工学部
kkurihara@akane.waseda.jp
}

河原大輔
早稲田大学基幹理工学部
dkw@waseda.jp

## 1 はじめに

2016 年アメリカ大統領選挙以降、フェイクニュー スという言葉が世界中に浸透している。フェイク ニュースとは虚偽の情報で作られたニュース、すなわ ちデマ情報を意味する言葉であり、フェイクニュース という言葉の拡大は、政治家の発言や現地メディアの 報道の真実性に関する議論を勃発させていた。しか し、それら発言や報道が、時として大統領選挙の結果 などの重要な局面で大きな影響を与えうる。故に、報道機関では不正のない正当な情報の提供のために、発信する情報の真実性の向上と外部の言説の適切な利用を目的としたファクトチェックの需要が高まって いる。

しかしファクトチェックは、昨今のニュースの情報源の膨大さ故に大変な労力を要する作業である。日本 においても、 $\mathrm{InFact}^{11}$ や毎日新聞などのジャーナルが 積極的なファクトチェックを行っているが、ファクト チェックの自動化が実現していない現状においては、 その作業は人手や時間のかかる作業となっている。本研究では、含意関係認識を活用したファクト チェック支援システムを考える。システムの概略図を 図 1(a) に示す。本システムは以下のフローで構成さ れる。

1. 疑義言説について関連する文書集合を取得

2. 疑義言説とその関連文書の含意関係認識

ここで疑義言説とは、ファクトチェックの対象となる 真実かどうか疑わしい言説である。本研究では疑義言説を 1 文で表せるものとする。

本研究では、上記フローのうち、2の含意関係認識 のステップ (図 1(b)) の実現を目指す。このステップは 疑義言説と関連文書との含意関係認識であるが、既存 の含意関係認識リソースは文ペアを対象にしており、 これらを利用することが難しい。そこで、本研究で は、このステップを実現するための要素技術として、

1) https://infact.press/疑義言説 1 文と関連文書中の 1 文との含意関係認識を 行うシステム (図 1(c))を構築する。このシステムを NLIFC (NLI system for FactCheck) と呼ぶ。

NLIFC の訓練・評価のためにデータセットを構築 した。これを FCSNLI (FactCheck Sentence NLI デー タセット) と呼ぶ。SNLI [1] や MultiNLI [2] などの 既存の含意関係認識データセットでは、文ペアが contradiction (矛盾)", “entailment (含意)”, “neutral (中立)” のいずれかのラベルをもち、2 文間には何らかの 関係性がある。しかし、ファクトチェックにおいて は、疑義言説と関連文書中の 1 文がまったく関係ない ことも多い。そこで、FCSNLI のラベルは、上記 3 ラ ベルに “unrelated (無関係)”を加えた 4 ラベルとする。訓練データは、既存 3 ラベルの識別性能向上を目的と して SNLI の和文翻訳データセットである JSNLI [3] “unrelated” ラベルの識別性能向上を目的としてニュー ス記事のコーパス、数値表現の識別性能向上を目的と した擬似データの 3 種類から構成する。評価データ は、ファクトチェック・イニシアティブ (FIJ) が提供 する疑義言説データベースに掲載されている疑義言説 を基に作成する。

NLIFC のモデルは文脈言語モデル BERT [4]を用い る。実験の結果、FCSNLI の 4 ラベルにおける F1 值 は 0.653、“unrelated”以外の 3 ラベルのみにおける F1 值は 0.538 となった。本研究における提案手法および 構築したデータセットは、含意関係認識システムを活用したファクトチェック支援の第一歩になると考えて いる。

## 2 関連研究

田上ら [5] はファクトチェックすべきニュース記事 (要検証記事) の探索支援に関する研究を行ってい る。具体的には、ファクトチェックをするべきである ニュース記事の選別のための端緒情報の特定、および 特定した端緒情報を利用したニュース記事の検証必要度のランク付けによる要検証記事の探索支援の仕組み を構築している。本稿では、このような仕組みによっ
(a)

図1ファクトチェック支援システムの概略図

て抽出された要検証記事のファクトチェックを図 1 の フローで支援することを想定し、疑義言説と関連文書 の含意関係認識システム構築の前段階として、疑義言説と関連文書中の文との含意関係認識システムを提案 する。

## 3 ファクトチェック支援のための 含意関係認識システム

ファクトチェック支援のための含意関係認識システ ムとして NLI system for FactCheck (NLIFC) を提案す る。本モデルは図 1(c)、すなわち疑義言説と関連文書中の文の 2 文間の含意関係認識を行うシステムであ る。本研究では、疑義言説は 1 文で表されるものを扱 うので疑義言説文、関連文書中の文をリソース文と 呼ぶ。

提案モデルは BERT (Bidirectional Encoder Representations from Transformers) [4] をべースとする。本研究 では BERT 日本語 Pretrained モデル [6] を使用し、ファ クトチェック支援への活用に向けた含意関係認識夕 スクで fine-tuning する。本タスクにおける fine-tuning のために、4 節で述べる FCSNLI 訓練データを用い る。入力はリソース文と疑義言説文の 2 文であり、出力ラベルは "contradiction", "entailment", "neutral", “unrelated”の 4 ラベルのいずれかである。

リソース文と疑義言説文は形態素解析器 Juman $++^{2)}$ で分かち書きを行ったトークン列を入力とし、リソー ス文と疑義言説文の間に [SEP] トークンを追加して いる。

## 4 ファクトチェック支援に向けた 含意関係認識データセットの構築

NLIFC の訓練および評価を行うデータセットとし て、FCSNLIを構築する。本データセットのラベル は 1 節で述べたとおり、“contradiction”, “entailment,

2) http://nlp.ist.i.kyoto-u.ac.jp/?JUMAN\%2B\%2B "neutral", "unrelated”の 4 ラベルとした。

## 4.1 訓練データ

FCSNLI 訓練データは以下の 3 つのデータセットか ら構成する。
- JSNLI (contradiction: 182964, entailment: 182583, neutral: 182467, unrelated: 0 )

・ unrelated データセット (contradiction: 0 , entailment: 0 , neutral: 0 , unrelated: 180000 )

$\cdot$ figure データセット (contradiction: 248556, entailment: 248556, neutral: 30360, unrelated: 0)

unrelated データセットは、JSNLI データに含まれてい ない unrelated ラベルのデータを追加する目的で構築 したデータセットである。データのペアのうち一方 は livedoor ニュースコーパスの文を使用し、他方に は JSNLI データセットの文を使用した。figure データ セットは、NLIFC の数値表現の認識性能向上を目的 として作成した擬似データセットである。リソース 文・疑義言説文の数値を変化させ、対応する正解ラべ ルを与えることで擬似データの生成を行った。figure データセットの例を付録の表 6 に示す。

## 4.2 評価データ

FCSNLI 評価データはファクトチェック・イニシ アティブ (FIJ) が提供する疑義言説データベース ClaimMonitor2 に掲載されている疑義言説のうち、 Infact や毎日新聞などのジャーナルが検証を行った言説を基に構築した。データセットの構築は以下の 2 点 に留意した上で人手で行った。

1. 人には容易に含意関係認識が可能となるような データセット

2. 既存の NLI データセットよりも平均文字数が多 くなるような文のペアのデータセット

これらは、既存の NLI データセットにおける以下の特

 &  \\

表 1 FCSNLI 評価データの例

表 $2 \mathrm{JSNLI} \cdot \mathrm{FCSNLI}$ における文の平均文字数

徴との差別化を図ったものである。

1. ペアに無関係のものがほとんど含まれていない。

2. 文の平均文字数が短い。

FCSNLI 評価データの例を表 1 に示す。データ数は 開発 (dev) データが 305 ペア、テスト (test) データが 200 ペアとなっており、ラベルの比率は unrelated: 既存 3 ラベル $=4: 1$ である。文の平均文字数は表 2 のように JSNLI と比較して多くなった。

## 5 含意関係認識システムの評価実験

## 5.1 実験設定

NLIFC の構築にあたって、BERT の学習の際のハイ パーパラメータを付録の表 7 に示す。また、NLIFC の性能評価のため、figure データセットを除いて fine-tuning したモデル (以下 NLIFC - figure) と、JSNLI データセットのみを用いて fine-tuning したモデル (以下 NLIFC - unrelated - figure) も同様の設定で構築する。

モデルの性能評価には FCSNLI と JSNLI の 2 つの評価データを使用した。このうち JSNLI は unrelated 以外の 3 ラベルで構成されているデータセットであるた め、NLIFC と NLIFC - unrelated - figure の比較を通じ て unrelated の学習が与える既存 3 ラベルの識別性能 への影響の調査が可能となる。精度の測定に関して、 JSNLI データセットについては正答率をスコアとし、 FCSNLI データセットについてはマイクロ平均により 算出した $\mathrm{F}$ 値をスコアとしており、3ラベルデータの スコア算出は unrelated データ以外について行った。

## 5.2 結果・考察

FCSNLI の全てのデータで訓練した結果を表 3 の NLIFC の行に示す。提案手法は JSNLI データセット において、精度 0.922 を達成しており、JSNLI モデル のスコアとわずか $0.5 \%$ 差であることから、unrelated の学習に伴う 3 ラベルの識別性能の低下は生じていな いことを示している。また、FCSNLI - test の 4 ラベル データで評価した結果は 3 ラベルデータで評価した 結果と比較して 11.5 ポイント上回っている。これは NLIFC の unrelated ラベルの識別性能が他の 3 ラベル の識別性能よりも性能が高いことを示している。一方で 3 ラベルデータにおける 0.538 というスコアは、 JSNLI タスクで高精度を達成している BERT も、ファ クトチェック支援などの実応用における含意関係認識 に関しては性能が不十分であることを示している。

NLIFC の予測例を表 4 に示す。(1)のようにリソー ス文の肯定表現と疑義言説の否定表現を正しく認識で きた例が得られた一方で、(2)(3) のように “entailment” と判定してしまう誤り例も得られた。これはリソース 文と疑義言説文とで一致する表現が多いことから否定表現の認識が適切に行われず“entailment” と判定し まったと考えられる。次に (4) のようにリソース文あ るいは疑義言説文が長文である場合の誤り例も多く見 られた。これは長文における文脈の考慮が正確にでき ていないことに起因していると考えられる。(5)はリ ソース文の前半の「新型コロナ〜論文が存在する一方で」と疑義言説文との含意関係は “entailment”、リ ソース文の後半の節「WHO は〜続いている。」と疑義言説文との含意関係は “contradiction” となるという問題であり、このような節ごとに異なる含意関係を持つ データに関しても誤った判定をしていた。

表 3 評価結果

 \\

表 4 NLIFC の予測例

 & リソース文 & 疑義言説文 \\

表 5 NLIFC と NLIFC - figure の予測例

## 5.3 Ablation 実験

NLIFC 構築において fine-tuning に用いた figure デー タセットが与えた影響に関して考える。NLIFC から figure データセットを除いて学習したモデル (NLIFC figure) の評価結果を表 5 に示す。開発データ同士での 比較ではほとんどスコアに差はなかったものの、テ ストデータにおいては NLIFC が NLIFC - figure のス コアを、4 ラベル評価・3 ラベル評価の両方で上回っ た。この結果は figure データセットの有効性を示して いる。各モデルの出力例を表 5 に示す。( I ) の他 3 件 の正解ラベルが “contradiction” の数値表現を含むデー タに関して同様に NLIFC のみが正解できた一方、(II ) の他 2 件の正解ラベルが “neutral” の数値表現を含 むデータに関しては NLIFC - figure のみが正解した。 これは、figure データセットの多くが “contradiction” と “entailment”の 2 つのラベルから構成されるため、 neutral の数値表現に関しての学習が不十分であるこ とが考えられる。

## 6 おわりに

本研究では、疑義言説と関連文書との含意関係認識 システム構築の前段階として、疑義言説と関連文書中 の文との含意関係認識システムとして NLIFC を提案 した。また、ファクトチェックへの応用を想定した含意関係認識システムの評価指標として FCSNLI データ セットを構築した。

実験結果は、FCSNLI タスクが JSNLI タスクと比較 して難易度の高いタスクであることを示している。一方で、提案手法は FCSNLI タスクで $\mathrm{F} 1$ 値 0.653 を達成 しており、今後のファクトチェック支援の第一歩にな ると考えている。今後は、MultiNLIなどのドメインの カバレッジが広い NLI データセットの和文翻訳デー タセットを用いた FCSNLI データセットの拡張によ る含意関係認識システムの性能向上を図るとともに、 データセット拡張の自動化も検討していく。また、図 1(b) のような疑義言説と複数文から成る関連文書の含意関係認識システムの実現が今後の課題である。

## 参考文献

[1]Samuel R. Bowman, Gabor Angeli, Christopher Potts, and Christopher D. Manning. A large annotated corpus for learning natural language inference. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[2]Adina Williams, Nikita Nangia, and Samuel Bowman. A broad-coverage challenge corpus for sentence understanding through inference. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1112-1122, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[3]吉越卓見, 河原大輔, 黒橋禎夫. 機械翻訳を用いた自然言語推論データセットの多言語化. 研究報告自然言語処理 (NL), pp. $1-8,2020$.

[4]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5]田上翼, 朝野広樹, 楊井人文, 山下亮, 小宮篤史, 藤村厚夫, 町野明徳, 乾健太郎.ファクトチェックを必要とする ニュース記事の探索の支援. 言語処理学会 第 24 回年次大会, pp. $404-407,2018$.

[6]柴田知秀, 河原大輔, 黒橋禎夫. Bert による日本語構文解析の精度向上. 言語処理学会 第 25 回年次大会, pp. 205 208, 2019.

## A 付録

 & "山田君は 3 月 15 日に沖縄に滞在していた。 \\

表 6 figure データセットの例

表 7 ハイパーパラメータの設定値


# 会話文の常識推論の実現に向けた一考察 -関連性理論及びポライトネスによるローカル化をつうじて-

太田 博三
放送大学教養学部
9924658973@campus.ouj.ac.jp

## 1 はじめに

人工知能における推論は，ここ数年で技術的に飛躍したが，理論的には新たな進展はあまり見受けら れない. 本稿では，後者についてこれまでの動向を 検討し，新たな提案を行う.

物理的な人工知能の推論は, 最近の BERT や

RoBERTa などの派生モデルの発展をつうじて, 自然言語処理でも質問応答や情報検索で精度が向上し， pre-trained moel 及び masked model の構造は, 確立し たと言える.

また，言語資源としての国際的なタスクでも，主 にクラウドソーシングの活用により Wikidata から ConceptNet に至るまで進展が見込まれている.

しかし, このままでは会話文での常識推論の実現 は難しく, 当面, 書き言葉での常識推論に終止して いる。そこで，理論的側面での進展は決して多くな い.この理由は，各国の言語的特徴にあると考え,関連性理論やポライトネスの視点と常識推論に当て はめながら，家族内や親友同士などのプライベート 間，もしくはローカル環境における共有される推論 を，言語的な視点で大枠を示したい.

以下に本稿の大きな流れを示す. これまでの各推論の流れと課題を検討し, 先行研究も含めた議論と する. 1）記号論理学の推論から字義的推論（フレ 一ム）へ，2）字義的推論の書き言葉から Wikidata を加えた常識推論へ，3）国際的なベンチマーク・ タスクによる常識推論の資源について，ここでは含意関係認識のタスクは本当に含意を類推していたか, また，NN による言語モデル（BERT）への常識推論資源の適用は可能か，さらに時間的推論の活用法な ども考察する.

4 ）ローカル環境に向けて, 敬語コーパスの必要性 を吟味し, 書き言葉の常識推論から話し言葉の会話推論の課題や枠組みを提供する.

## 2 研究の背景と目的

以下の対話応答の実現に向けて, 次の 3 つを追求 することに始まる。

1) 言語学の語用論や敬語・ポライトネス,

2) 認知科学や脳科学でのプログラミング言語や アーキテクチャへの適用

3) BERT などの深層学習の適用とその可能性

妻:「コーヒー飲む？」

夫: 「明日、早いから」

この会話には，まず，(「おたし」や「あなた」、「飲 まないよ」）などの主語・述語などの省略が考えられ る (主に言語学の視点). 次に, 仕事があるなどのプ ライベートでの共通認識や暗黙知もしくは含意や推意が存在している (主に関連性理論)。さらに，コー ヒーを飲むとカフェイン効果で眠れないといった，一般常識(Commonsense)による推論が考えられる.

ここでは，記号論理や意味ネットワークやフレー ム理論，そしてスクリプトによる知識表現 (knowledge representation)による推論 (inference) が,認知科学(cognitive science)や脳科学の分野で研究さ れ，コンピューターのハードウェアやソフトウェア でのアーキテクチャやプログラム上で具現化され実用に至っていると想定する.

この上で，昨今のビッグデータやディープラーニ ング以降ではなく, 一昔前の人工知能の時代まで遡 り, 言語学の語用論やポライトネスなどの豊かな発想の諸説をヒントにしながら，再考察する。そして 深層学習に適用することを目的としている。認知科学や脳科学, 言語学などの諸科学をコンピューター サイエンスに結びつけられる確率は非常に少ない. Minsky の「心の社会」では 100 個のアイデアがある が, 実用化されているのはわずかである.おそらく, ここ数年の深層学習から構築し直すのが正解と思わ れるが, 今一度, Minsky のようなアイデアをかえり みて，敬意表現などの不足分を補い，国別のローカ

ル化に向けて, 言語資源としても, 整備されていな いなら，その分を本稿で検討する機会を設けられれ ばと考えている.

## 2.1 記号論理学による表現と推論

一昔前の知識表現には，一階述語論理で表されて いる（図 2.1）.ここでは, 同值や含意の除去を基礎 としており(スコーレム標準形), 堅い書き言葉が中心となっている.曖昧性や多義性の除去だけでなく,意味的な飛躍は許されないため, 非常に多くの述語論理表現が必要となる. 推論の中でも, ボトムアッ プの演繹的推論にとどまっている事も, 商業的には 真新しさがなく, 複雑でなければ至極当然な結果と 見なされてしまい，これが評価を落とした原因の一 つである. また, 記号推論とディープラーニングと を共存させる事では, そこで得る推論の進展は大き くはないと思われる.

$
\begin{array}{r}
\text { 私はコンピューターを持っている } \\
\quad \exists x(\text { have }(I, x) \wedge \operatorname{computer}(x))
\end{array}
$

すべての作家は書物が好きだ

$
\forall \mathrm{x}(\operatorname{writer}(\mathrm{x}) \rightarrow \exists \mathrm{y}(\operatorname{likes}(\mathrm{x}, \mathrm{y}) \wedge \text { documents }
$

図 2.1 一階述語論理式の例

## 2.2 フレーム理論・スクリプトによる推論

認知科学によるSOAR のアーキテクチャとフレー ムワークやスクリプトを用いた推論は, 記号論理学 に比べて, 次の 2 点において, 大きな飛躍を遂げた と言える.

1）自然言語の場面や時などを含む知識表現の実現

2） IF-THEN ルールと複数の同值の判断の実現

これらは，プロダクション・システムに代表され る.

ここで用いられている常識推論 (Commonsense Reasoning)は IF-THEN ルール内で定められているも のとして，限定的である事が，対話システムに向け て課題となっていた。

そこで, 自然言語処理では, 次のような含意関係 を含むか否かの会話の判別から着手する国際的な夕 スクが 2000 年代に行われた。

含意関係認識(Recognition of Textual Entailment; RTE)である. 含意関係認識とは 2 つの文を想定し，

る文(Hypothesis; $\mathrm{H}$ )を設定し, それらの関係が成立す るかを Yes,No $(0,1)$ で判定するタスクである. 例を次
に2つ示す.

例 1

$\mathrm{T}$ : 私は昨日、京都で晚御飯を食べた。

$\mathrm{H}$ : 私は昨日、京都にいた。

$\rightarrow$ 判定: Yes(含意である).

## 例 2

$\mathrm{T}$ : 川端康成は「雪国」などの作品でノーベル文学賞を受賞した。

$\mathrm{H}$ : 川端康成は「雪国」の著者である.

$\rightarrow$ 判定: Yes(含意である).

ここで注目すべきは, コンピューターが Wikipedia などの知識から判断されているのか，語句間で結び 付けられているためなのかである.

実装されているコードから, Wikipedia などによる 一般常識が直接的に働いているとは見受けられない。 むしろ Attention や BERT の Masked Model などの一文内，もしくは前後の文の語句との結びつきによる ものと考えるのが妥当かもしれないと考えられる。

## 2.3(言語I 画像)資源による常識推論

一般常識が必要と考えた MIT メディアラボでは Cyc や Open Mind Common Sense のプロジェクトが 発足し, これが現在の常識推論 (Commonsense Reasoning)に至っていると考えられる(図 2.3.1, 図 2.3.2).

ここでは, 固有表現認識の国際的なタスクの限界 とも言える内容になっている. 固有表現認識（NER： Named Entity Recognition）とは、テキストに出現す る人名や地名などの固有名詞や、日付や時間などの 数值表現を認識する知識抽出である. ここではエン ティティリンキングや関係抽出, そして共参照問題 の解決といった自然言語処理タスクを要素技術とし ており, Wikidata などを対象としている.この固有表現認識での常識推論が存在している.

図 2.3.1 (言語/画像)常識資源の流れ
今後に向けては，上記とは一線を画する形で，

ConceptNet や ATOMIC などのように, 因果関係に特化したものや時間的推論には十分に対応出来ておら ず，対話応答の QA 形式の実践に向けたタスクと言 える.

このような状況の上で, BERT の派生モデルが State-Of-Art を競い合っているとも言え，ある特定の データセットの分布に見合う言語モデルになりがち であり,依然としてスケール化も課題となっている。

しかし, これ以外に実現可能な方法がないのも事実である.

図 2.3.2(言語/画像)常識資源のボリューム

## 3 今後の常識推論に向けた提案

現行では, 書き言葉での常識推論に終始しており，対話応答などの会話の実現は今後の課題となってい る. ここで, 次の 2 つの要素が国別更には地域別の 単位で個別のタスクとして見込まれる。

1）敬意表現を用いた推論

2）母と娘との間の共通認識の推論

まず，1)は修辞句などの慣用表現がどのコーパス にも含まれておらず，国際的なタスク (ConceptNet など）でも除外されている.メタファーなどの表現 は認知言語学での捉え方や言語学寄りでの捉え方が いくつか存在し, 統一されていない.これと同様に,日本語の敬語や敬語を用いない敬意を表す表現も諸学説がある. 更に, コンピューターに対応させる事 となると, 実現可能であるかの疑問が生じるため,実行に移すのは, 書き言葉の常識推論の後と考えて いるかもしれない. 社会的に, もしくは産業的な優先順位では決して高くはないが，コンピューターに よる言語理解や言語認識技術は少子高齢社会での人間の代わりをするものと想定するならば，できる限 り, 早期に着手すべきとも考えられる. 1 人の高齢者を 4 人の若い人が支える時代は数年前の事である.

ここで2）に通じることであるが，Siri や Alexa $の$
ような話しかけは私達の日常会話の範囲内と言える が, 親子や友人同士の会話の内ではないとも言える. まずは慣用表現として対話応答で実現されることが 現実的と考えられ，その範疇を超えるものはその後 に続く位置づけと捉えられる。

## 3.1 敬意表現を用いた推論の展開

1)に関しては，言語学の語用論やポライトネス の研究がヒントになる. 次に示す, 生田(1997)の例文で考察してみる。

3.1.1 生田(1997)の例文

以下の状況のもとでの会話である. 注目すべきは, この例では，敬語や丁寧な表現は一切使われていな いことである.

状況は i と ii が考えられる。

( i )「B のペンが何本か目の前の机の上に置いて ある」

（ii）「相手 B が，既にペンを筆入れ，さらに鞄に しまっており，席を立とうとしている」

ここで，A3に，敬語を用いた表現を入れると不自然になる.敬語を用いてはいけない敬意表現である.

「A：あのう，恐れ入りますが，ちょっとペンをお 借りできますでしょうか.」

これらから, ポライトネス（語用論）と敬語は異 なるものだと言える. よって，ポライトネスの表現 がコーパスに取り入れられているか吟味する必要が ある。

更に，日本語の非母国語話者のコーパス（宇佐美 2020）から，1)の場面や友人間の分類の有用なアイ デアが得られる. 6 の参考情報で図 6.1.1 及び図 6.1.2 にその概要と分類木を示す.

## 3.2 関連性理論と推論の展開

2)に関しては，関連性理論に基づく推論の捉え方 が挙げられる. 次に示す, 松井(2001)の例文で考察 してみる。

3.2.1 松井(2001)の例文

以下のように，母と娘との会話であり，たった 1 対の対話でしかないが，これを推論するのには，単

なる文の省略を補完するだけでは十分である。この 会話を把握するはめには，母と娘との共通認識や背景の理解が必要になる。

背景は(カ)から(コ)にかけて記す。

(カ) 美佐の母親が今日自宅のベランダにふとんを 干していた。

(キ) 美佐は美佐の母親が今日自宅のベランダにふ とんを干していたと言った。

(ク) ふとんを干すのは, 宿泊する客が来る前の準備 である.

(ケ) 美佐の母親は真理のためにふとんを干してい た.

(コ) 美佐の母親は真理が明日泊まりに来るのを知 っている.

真理「お母さん、私が明日泊まりにゆくの知って るの?」

美佐「ふとんを干してたわ!

ここでは，表意と推意とに分けて捉えている．発話の言語情報はとそこで意図して伝達する命題は変 わらないとしている.敬語や丁寧な表現は一切使わ れていないことも, 日本独自の言語の表れとして注目し言語資源に取り入れるものと思われる.

## 4 おわりに

本稿は，敬語を使わない敬意表現やポライトネス への興味とそれを実装したいと思い描いてきた中で 得られた知見を基に考察したものである. 宇佐美ま ゆみ先生から学んだことが少なくない. また, 理論的で行き詰まりを感じていな中で, 小出誠二先生の

「Common Lisp」の講座(cl-aip)を受講させて頂き,常識推論(Commonsense Reasoning) $の$ 存在を知った.特に知識表現やオントロジーの人工知能の専門家か ら知る事が出来たことは有益であった. ここに感謝 の意を表したい. そして，ポライトネスや関連性理論を反映させた対話システムに組み込みたい.

## 5 参考文献

[1] 新田「知識と推論」, サイエンス社, 2002

[2] 加藤・土屋 「記号論理学」, 放送大学出版会, 2014

[3] 時本「あいまいな会話はなぜ成立するのか」, 岩波書店, 2020

[4] 坂原「日常言語の推論」, 東京大学出版会, 1985 [5] Minsky（竹林訳）「ミンスキー博士の脳の探検」,共立出版会， 2009

[6] 小出「Common Lisp と人工知能プログラミング

(下巻)」オントロノミー合同会社, 2017

[7] Peter Norvig Paradigms of Artificial Intelligence Programming: Case Studies in Common Lisp, Morgan Kaufmann, 1991

[8] 長尾「知識と推論」, 岩波書店, 1988

[9] 宇佐美まゆみ監修(2020)『BTSJ 日本語自然会話 コーパス (トランスクリプト・音声) 2020 年版』

[10] Recent Advances in Natural Language Inference: A Survey of Benchmarks, Resources, and Approaches Shane Storks, Qiaozi Gao, Joyce Y. Chai, 2019

[11] ブラウン \& レヴィンソン「ポライトネス 言語使用における、ある普遍現象」“Politeness： Some Universals in Language Usage” , 1987

[12] 生田「ポライトネスの理論」大修館書店, 『月刊言語』, pp.66-71, 1997

[13] 松井「関連性理論から見たポライトネス」巻 No. 3 特集 月刊言語, 2001

[14] 太田「言語学の語用論や配慮表現の先端技術へ の適用に関する一考察」第 23 回 SIG-AM 人工知能学会合同研究会, 2019

[15] 岩倉・関根「情報抽出・固有表現抽出のための 基礎知識」 近代科学社, 2020

[16] Maarten, Shwartz, Choi et .al., Introductory Tutorial: Commonsense Reasoning for Natural Language Processing, Computational Linguistics, pages 27-33, 2020

[17] Mueller Commonsense Reasoning: An Event Calculus Based Approach, Morgan Kaufmann, 2nd edition, 2014

[18] Lehman, Laird. A Gentle Introduction to Soar, an Architecture for Human Cognition, 2006

## 6 参考資料

## 6.1 対人関係の分類

図 6.1.1 は決定木で表わすと, 図 6.1.2 のようにな る。例文で考察してみる。対人関係またはプライベ 一ト間での分類案を示す(BTSJ 宇佐美 2020, 一部加筆修正した).

対話内容や上下関係, そしてポライトネス(ブラウ ン\&レヴィンソン, 1987)を基に考案したものである。

1 層目には, 初対面か, 複数回以上会ったことが ある親しい友人と分けた。「はじめまして...」は初対
面以外で使用することは考えられなく，仮に用いた 際は, 皮肉や嫌味の意味合いを生じることになるが， これは極めて例外的であると考えられる。

2 層目は, 男性同士, 女性同士, 男女混合で分け た，大きく話し方は変わるためである.

3 層目は, LINE などの SNS か, 雑談か, 主に仕事上の依頼の電話に分けられる。ここで, 敬語を力 バーするものとして，ビジネス場面での上司と部下 の上下関係と敬語や必ずしも敬語を使用しない敬意表現や配慮表現を指している。

最後に, 別のラインとして, 謝罪や隣人同士の挨拶は突発的に起こるものとして区分した.

図 6.1.1 プライベート間での分類案(BTSJ 宇佐美 2020)
Flame と Script の間に位置づけられており, Flame に常識が含まれているものとしてきた。これが知識表現が重たく感じられ限界があると言われた所以で あると考えられる。

しかし最近では, 別の枠組みとして, Wikipedia や Wikidata, ConceptNet などがビッグデータとして のコーパスとして独立して位置づけられるようにな り, Flame に掛かる負担は多少は減ったものと捉え ることができる．課題はどこでこれらの常識を統合 させるかであるが，ConceptNet 以降はニューラルネ ットワークの入力に用いられ, Flame は別になって いる。この場合は自然言語をべクトル空間での表現 しか表現できなくな るというトレードオ フの関係になってし まい，両立は困難と 考えられる.これが，記号論理学による推論とニューラルネッ トワークの両立は難 しいと, 2.1 節で述べ た理由である。

しかし Flame は自然言語の文章を柔軟 に表現し，ルールベ ースの IF-THEN に よるコードに落とし 込みやすいというメ リットを6.3で示す.常識推論(Commonsense Reasoning) の位置づけ

図 6.2.1 Commonsense Reasoning

の

位置づけ

図 6.1.2 対人関係の分類

## 6.2 常識推論(Commonsense Reasoning)

の位置づけ

従来の常識推論を図 6.2.1 に示す. 注目すべきは

## 6.3 自然言語のフレーム化とスクリプト化

図6.3.1 に示した文章を図6.3.2のようにフレーム 化する。 そして, 図 6.3.3 のように IF-THENルー ルで実行するのがプロダクション・システムである.

これらの図から，フレームが自然言語文の表現性 に優れているといった長所が挙げられる一方で,

Temporal Commonsense Reasoning といった時間的推論を 1 つのフレームで取り扱うのは難しいといった 弱点も挙げられる. ディープラーニングでは時間的推論は困難であることは言うまでもなく，折東案が しばしば求められる。

7 回表。 2 黄と 3 眰に走者がいます。 2 つのア ウトがあります。打者のマーティン・プラドは平均. 256 で、打順は 4 番目です。 3-2 で勝ちまし た。前回、1 人がこのバッターを打ちました。私 の目標はイニングを逃れることです。

図 6.3.1 自然言語の文章

イニング : 7 イニング目

回の表裏 : 上

塁上の走者 : 2 位と 3 位

アウトカウント : 2 つ

打者 : プラド

平均 : .287

右l 左打者 : 右利き

点数: 3-2

目標 : イニングを無失点で逃げきること

図 6.3.2 フレーム化

\# (a1)
If I perceive I am at the mound
then suggest a goal to get the batter o
ut
\# (a2)
If there is a goal in WM to get the bat
ter out
then suggest achieving it using the Pit
ch problem space with
an initial state having balls 0 and str

ikes $\theta$

\#(a3)

If using the Pitch problem space

and I perceive a new batter who is left /right handed

then add batter not out and batter left

/right-handed to the state

\#(a4)

If using the Pitch problem space and th e batter is not out

then suggest the throw-curve operator

## \# (a5)

If using the Pitch problem space and th e batter is not out

and the batter is left-handed

then suggest the throw-fast-ball operat or

\#(a6)

If both throw-fast-ball and throw-curve are suggested

then consider throw-curve to be better

than throw-fast-ball

\# (a7)

If the throw-curve operator has been se lected in the Pitch problem space

then send throw-curve to the motor syst em and add pitch thrown to the state

\# (a8)

If using the Pitch problem space and th e pitch was thrown and I perceive a hit then add pitch hit to the state

図 6.3.3 スクリプト化

## 6.4 敬語コーパスの作成

敬語は文法的に規則性が明確になっているため，総称としての敬意表現ではなく，敬語のみの抽出であ れば可能である.


# 『昭和話し言葉コーパス』の設計・構築と分析 (2)： コーパスの構成とメタデータの設計

丸山岳彦
専修大学・国立国語研究所
maruyama@isc.senshu-u.ac.jp
田嶋明日香
国立国語研究所
tajima-a@ninjal.ac.jp
}

西川賢哉
国立国語研究所
nishikawa@ninjal.ac.jp
小磯花絵
国立国語研究所
koiso@ninjal.ac.jp

## 1 はじめに

国立国語研究所共同研究プロジェクト「大規模日常会話コーパスに基づく話し言葉の多角的研究」で は、2016年度より『昭和話し言葉コーパス』(Showa Speech Corpus：SSC）の構築を進めてきた。『昭和話 し言葉コーパス』は、1950 年代から 1970 年代にか けて国立国語研究所で作成された録音資料（独話・会話）を再編し、話し言葉コーパスとして整備した ものである。これまで、2 2 回のモニター公開を経て、 2021 年 3 月にコーパス全体が完成し、Web 上のコー パス検索アプリケーション「中納言」で本公開さ れる。そこで本発表では、『昭和話し言葉コーパス』 の設計と構築について、特にコーパスの構成とメタ データの設計を中心に述べる。

## 2 『昭和話し言葉コーパス』開発の 経緯

『昭和話し言葉コーパス』は、1952 年以降、国立国語研究所で作成されてきた録音資料群を収集し、再編した音声コーパスである。1952 年から 1970 年代の初頭にかけて録音された自発的な日本語音声 （独話・会話）約 44 時間分を収録しており、20 世紀半ばから現代に至る過程において、日本語の話し言葉がどのように変化してきたかを探るための言語資源として活用することができる $[1,2,3]$ 。

1948 年に設立された国立国語研究所では、1952 年度に話し言葉を専門的に分析する「第 1 研究室」 を設置して以降、さまざまな場面における日常会話 や、講演会での講演、挨拶・祝辞などの独話を録音 してきた。可搬型のオープンリール型録音機（通称
デンスケ、おそらくM1 型）をさまざまな場所に持 ち込み、市井の人々の日常会話音声や、国立国語研究所員の講演音声を録音したことが、当時の報告書 や『国立国語研究所年報』などに記録されている。特に日常会話の録音作業では、「地区・場所・性・年齢・教養・相手」という条件を設定し、各条件をな るべく広くカバーするような収集方針が取られた。当時の年報には、以下のような記述がある [4]。

日常の談話が多く得られる場合として、衣食住・社交等の生活機能と家庭・近隣・職場・市町村などの生活環境との切点から具体的な談話の場面を収集し、また、性・年齢・教養・相手 (の数、未知既知) ・地域などになるべく片寄りの少いことを目安として、調査地点・調査対象・調査場面の予定表を作成した。（p.6）

言語研究を目的として、日常の多様な場面・多様 な話し手から偏りなく会話音声をサンプリングし たこの試みは、世界的に見ても極めて早い時期に行 われた話し言葉研究の実践例であったと言ってよ い。録音された音声資料は転記され（図 1)、さらに カード式のデータベースとして整理され（図2）、分析に使用された。この分析結果は、『談話語の実態』 (1955 年)、『話しことばの文型 (1)(2)』(1960、1963 年）などの報告書にまとめられている。

当時の音声を録音したオープンリールテープは、国立国語研究所の資料庫に保存されていたが、1990 年代以降、音源をDATテープにダビングし、デジタ ル化する作業が進められてきた。この音声データを 収集・再編し、『昭和話し言葉コーパス』として整備 することを着想したのが 2013 年ごろであり、2016 年度から本格的に構築を開始した。

図 1 録音音声の転記

図 2 カード式データベース

## 3 『昭和話し言葉コーパス』の構成

以下では、『昭和話し言葉コーパス』（以下、SSC と略記する）の構成について述べる。

## 3.1 音声の種類

SSC の収録音声は、「会話」「独話」に分かれる。

## 3.1.1 会話

1952 年度に「第 1 研究室」が設置された際、「現代話し言葉の実態と性質を明らかにする。材料として は主として日常談話による」という研究項目が定め られた [4]。この方針に基づき、日常談話の録音作業が本格的に開始されたのが、1952 年 9 月である。上述のように、会話参与者の性・年齢 - 教養 - 相手 (の数、未知既知) ・地域などを考慮して、バランス の取れたサンプリングが企図されたようである。こ れら初期の録音資料群は、1955 年の報告書『談話語 の実態』での分析に用いられた。また、1955 年以降 の録音資料群は、1960 年の報告書『話しことばの文型 (1) 対話資料による研究』に用いられた。

## 3.1.2 独話

SSC に収録された独話音声は、「国立国語研究所新庁舎開き記念講演会（1955 年)」「国立国語研究所創立 10 周年記念祝賀式（1959 年）」「国立国語研究所創立 20 周年記念講演会（1969 年)」など、当時の 国立国語研究所における講演会・講座や式典・祝賀式などで録音した講義、挨拶・祝辞が主なものであ る。1963 年の報告書『話しことばの文型 (2) 独話資料による研究』でも分析に利用されている。

$\mathrm{SSC}$ に収録された会話音声・独話音声の一覧を、稿末の「SSC 収録音声一覧」に掲載する。

## 3.2 収録時期

それぞれの収録時期は、以下の通りである。

会話: 1952 年 3 月（録音日不明） 1969 年 12 月 6 日独話: 1955 年 3 月 26 日 1974 年 6 月 5 日

## 3.3 転記テキスト

転記テキストは、新規に作成した。当時の転記テ キストを再利用することも検討したが、聞き取り困難な箇所が書き起こされていないケースや、数十秒 の範囲で転記が欠落しているケースも見られたこ とから、新規に作成する方がよいと判断した。録音 レベルが極めて低い音声や、ノイズが多く混入して いる音声など、録音状態の悪い音声データについて は、SSCへの収録対象から除外した。

過去の音声資料を新規に転記する作業には、多く の困難が生じた。ノイズの混入により音声が聞き取 りづらい場合だけでなく、現代ではあまり使われな い言い回しが特定できない場合も多かった。以下は その例である（これらは転記者たちの調査と努力に より、特定することができた)。

1. 次があったら○00ということを、常に考えて いるわけでありますが

2.これらを、え、○○0まするために、これも、 お一、西尾所長から先ほど、

3. 文化庁でも、おー、その当時、次の、お、国語課長の国松君か

また、当時の収録機器はマイク 1 本であるため、特に多人数会話で発話の重複が生じていると、発話内容の聞き取り、発話者の同定が極めて困難であっ た。これらの場合には、「聴取不能」「発話者不明」 と注釈を付与せざるを得なかった。

## 3.4 アノテーション

音声ファイルと転記テキストが準備できた段階 で、(1) 時間情報の付与、(2) 形態素解析、という 2 種のアノテーションを実施した。(1)については、 Praat 上で発話単位を区切り、各単位に時間情報を 付与した (図 3)。(2)については、形態素解析用辞書「現代話し言葉 UniDic（ver.3.0.1.1）」と MeCab （ver.0.996）により形態素解析を実施した。

図 3 時間情報の付与

また、会話音声の中で個人情報（人名、住所、電話番号など）が含まれるケースがあった。これらに ついては、該当する範囲の音声をマスキングし、転記テキストは伏字化の処理を行った。

## 3.5 データサイズ

SSC のデータサイズについて、表 1 に示す（最終的な公開時には数値が変動する可能性がある)。な お「話者数」は延べ人数を表す。

表 1 SSC のデータサイズ

## 3.6 メタデータ

通常、音声コーパスには「メタデータ」が付与さ れ、発話者や発話場面に関する情報などが提供され る。例えば、『日本語日常会話コーパス』(CEJC) で は、発話者の年齢、性別、出身地、居住地、職業、話者間の関係性や、会話場面の具体的な説明などが メタデータとして記録されており、当該の会話デー タの詳細が分かるように設計されている [5]。

SSC でも、可能な限り詳細なメタデータをコーパ スに付与することにした。かつ、特に会話音声につ いては、CEJC におけるメタデータとできる限り項目を揃えることにより、将来的にSSC と CEJC を連結して検索し、比較できるようにした。メタデータ の設計と構築については、次節で述べる。

## 4 メタデータの設計

## 4.1 メタデータの復元

SSC に含まれる録音資料のうち、独話について は、当時の国語研所員による講義音声や、関係者に よる祝辞のケースが大半である。これらについて は、『国立国語研究所年報』や昔の記録写真などか ら当時の録音状況を推定した結果、すべての録音資料について、録音日、録音場所、発話者情報（氏名、性別、当時の年齢、生年、出身地、職業、肩書)、発話状況（講演のイベント名、講演タイトル）などを 特定することができた。

一方、会話については、録音状況の割り出しが非常に困難であった。当初は、最初に入手した音声 データに付されていた録音資料の名称しか手掛かり がなかったため、詳細なメタデータの付与は不可能 であると思われた。しかしながら、国立国語研究所 の中央資料庫に保存されている当時の資料群を探索し、当時の資料群を隅から隅まで吟味した結果、 オープンリールの箱に記載されたメモ書き（図 4） や、当時のフェイスシートと思われるメモ（図 5） を発見することができた。

図4 オープンリールテープの箱に記されたメモ

図 5 当時のフェイスシート
図 4 からは、録音年月日と参与者の属性を知るこ とができる。図 5 のメモは、各発話者の属性（性、年齢、教養、職業、居住歴）が記載されたフェイス シートである。このような断片的に残された情報を 丁寧に拾い上げることにより、会話音声のメタデー タを整備した結果、当初の見通しからするとはるか に詳細な話者情報を付与することができた。それで も付与できなかった話者属性（年齢、居住地、出身地など）については、推測値を付与する（「壮年層」 など)、または「不明」とすることで対処した。

## 4.2 メタデータの設計

上記のように収集した情報を整理し、SSC のメタ データを設計した。ただし、独話音声と会話音声は メタデータの性質が大きく異なるため、個別に設計 することとした。各メタデータに含まれる情報を、以下に示す。

## 4.2.1 独話音声のメタデータ

・独話音声データ :

ファイル ID、録音年度、音声タイプ、タイト ル、話者、話者ID、話者年齢、イベントタイプ、 イベント名、録音年月日、録音場所

## ・話者情報データ：

話者 ID、話者名、性別、生年、出身地、職業

## 4.2.2 会話音声のメタデータ

・会話音声データ：

ファイル ID、タイトル、録音年度、会話形式、話者 ID、会話概要、録音場所、話者数

## ・話者情報データ：

話者 ID、話者名、性別、生年、出身地、居住地、職業、話者の関係性

このうち会話音声のメタデータは、前述の通り、『日本語日常会話コーパス』(CEJC) に付与されたメ タデータ（図 6）との連結可能性を考慮して設計し た。SSC と CEJC を同じ条件で検索することで、過去 60 年間に日常会話の音声がどのように変化して きたかを比較・対照することができるようになる。

図 6 CEJC のメタデータ

## 5 おわりに

古い録音資料を収集してコーパス化し、話し言葉 の経年変化を実証的に明らかにしょうとする試み は、相澤・金澤 (2016) などごく少数の事例しか存在 してこなかった [6]。『昭和話し言葉コーパス』は、設計当初から話し言葉の経年変化を探るためのコー パスとしての運用を想定しており、独話音声を『日本語話し言葉コーパス』(CSJ) と比較したり、会話音声を『日本語日常会話コーパス』(CEJC) と比較 したりすることによって、独話・会話の話し言葉が どのように変化してきたのかを分析することが可能 である。『昭和話し言葉コーパス』の完成によって、「通時音声コーパス」という新しいタイプの日本語 コーパスが利用可能になったと言えるだろう。

2020 年度をもって『昭和話し言葉コーパス』の 構築作業は完了し、その全体が 3 月に「中納言 ${ }^{1)} 」$ で公開される。利用登録をすれば、『昭和話し言葉 コーパス』をオンラインで検索することができ、そ の音声を聴取することもできる。ぜひご活用いただ きたい。

## 参考文献

[1] 丸山岳彦. 『昭和話し言葉コーパス』の計画と 展望一1950 年代の話し言葉研究小史一. 専修大学人文科学研究所月報, Vol. 282, pp. 39-55, 2016 . http://doi.org/10.34360/00007004.

[2] 丸山岳彦. 「通時音声コーパス」の可能性と 問題点—『昭和話し言葉コーパス』の構築と分析。言語資源活用ワークショップ 2019 発表論文集, pp. 402-412. 国立国語研究所, 2019. http: //doi.org/10.15084/00002592.

[3] 丸山岳彦. 『昭和話し言葉コーパス』の設計・構築と分析. 言語処理学会第 26 回年次大会発表論文集, pp. 629-632. 言語処理学会, 2020. https://www.anlp.jp/proceedings/annual_ meeting/2020/pdf_dir/F3-3.pdf.

[4] 国立国語研究所. 昭和 27 年度 国立国語研究所年報 4.国立国語研究所, 1952. http://id.nii.ac.jp/1328/ 00001164/.

[5] 小磯花絵, 天谷晴香, 居關友里子, 臼田泰如, 柏野和佳子, 川端良子, 田中弥生, 伝康晴, 西川賢哉。『日本語日常会話コーパス』モニター版の設計・評価・予備的分析. 国立国語研究所論集, Vol. 18, pp. 17-33, 2020. http://doi.org/10.15084/00002540.

[6] 相澤正夫, 金澤裕之（編）.SP 盤演説レコードがひら <日本語研究. 笠間書院, 2016.

## 『昭和話し言葉コーパス』収録音声一覧

## 独話音声
- 国立国語研究所新庁舎開き式典 (1955)
- 所長挨拶ならびに経過報告 (西尾実)、祝辞（松村謙三、茅誠司、村上俊亮、土岐善麿、柳田国男)
- 国立国語研究所新庁舎開き記念講演会 (1955)
- 講演者紹介 (平井昌夫) 、所長挨拶 (西尾実)、現代の敬語意識（柴田武）、三つの語彙調査（林大）
- 全国国語科指導主事研修講座（1957）
- 話し言葉の表現意図について（飯豊毅一）、方言調査法 (野元菊雄)、言語能力の発達 (芦沢節)、助詞 - 助動詞 (宮地裕)、文型 (永野賢)、国語教育（輿水実）、新聞文章研究法 (林四郎)
- 国立国語研究所創立 10 周年記念祝賀式 (1959)
- 所長挨拶 (西尾実)、祝辞 (橋本龍伍、兼重寛九郎、関口隆克、時枝誠記、山本有三)、来賓挨拶（土岐善麿、安倍能成、片山哲）
- 国立国語研究所創立 10 周年記念講演会 (1959)
- 所長挨拶 (西尾実)、明治初期の書きこと ば (山田巌)、現代語の標準（林大）、話し ことばの文法 (大石初太郎)、これからの 日本語（岩淵悦太郎）
- 第 17 回国立国語研究所創立記念講演会 (1965) - 所長挨拶（岩淵悦太郎）
- 第 18 回国立国語研究所創立記念講演会 (1966) - 所長挨拶（岩淵悦太郎）
- 第 19 回国立国語研究所創立記念講演会 (1967)
- 所長挨拶 (岩淵悦太郎)、講演者紹介（岩淵悦太郎)
- 見坊氏退官記念講演（1968）
- 見坊氏退官記念講演（見坊豪紀）
- 国立国語研究所創立 20 周年記念講演会 (1969)
- あいさつ-研究所と語彙研究-（岩淵悦太

郎)、語彙調査と基本語彙 (林四郎)、形容詞の意味の特質（西尾寅弥）
- 第 21 回国立国語研究所創立記念日 (1969)
- 講演者紹介（岩淵悦太郎）
- 第 24 回国立国語研究所創立記念日 (1972) - 所長挨拶（岩淵悦太郎）
- 国立国語研究所研究棟落成式典 (1974)
- 所長挨拶 (岩淵悦太郎)、来賓挨拶 (奥野誠亮)、祝辞 (藤沢達夫、安達健二、平塚益徳、久松潜一)

## 会話音声

$\mathrm{T}$ 社応接室

タクシー苦情

歯科大学生

麻布主婦

K 教育委員会雑談

鎌倉主婦

研究室の電話

養老院

少年工員

下町家族

3 人の青年

1960 年度 浅草噺

1969 年度その電気ごたつは安全ですか


# So-Called "Prepositions" in Somali are Not Prepositions: A Linguistic Approach for Somali POS tagging

Chihiro Taguchi
Taro Watanabe
Nara Institute of Science and Technology
\{taguchi.chihiro.td0, taro\}@is.naist.jp

## 1 Introduction

In Somali, the four lexemes $u, k u, k a, l a$ (UKKLS henceforth) are called in various terminologies such as "prepositions"[1, 2], "prepositional indicators”[3], "adpositional verbal particles"[4], and "verbal adpositions"[5]. However, as this polyonymy indicates, the morphosyntactic status of the lexemes is still controversial. This study first demonstrates that the lexemes are neither prepositions nor adpositions, but are either clitics, verbal prefixes, or particles that function as an applicative[6] to augment an extra argument. Particularly, in view of Universal POS tags[7], we argue that they should be categorized in particles (PART). Then, we propose a solution to implement the Somali Universal Dependencies (UD) by practically applying our POS tagging rules.

## 2 Overview

## 2.1 Overview of the Language

Somali (< Cushitic < Afroasiatic) is spoken in the Horn of Africa by approximately 15 million people[8]. The basic word order is Subject-Object-Verb (SOV), but it may change with respect to the information structure. In contrast, the order of verbal components is rigid. The nominal morphology distinguishes number (singular and plural), gender (masculine and feminine), case (subject and absolute), and definiteness (definite and indefinite). The verbal morphology includes inflections by person, number, and gender of the subject, tense (present and past), aspect (unmarked and continuous), mood (indicative, subjunctive, and imperative), polarity (positive and negative), and focus. As for the information structure, focus plays a significant role in Somali. Auxiliaries ayaa and baa puts focus on the preceding noun (cf. $(1,2)$ ), and waxa put focus on the noun after the verb phrase (cf. (3)). When there is no focus on a particular noun, the auxiliary waa is selected (cf. (4)). Note that the long vowel - $a a$ in the auxiliaries is changed to $-u и$ when succeeded by the third person masculine subject marker.

(1)Maxamed (baa|ayaa)bariis cunay. Mohammed FOC rice ate

"Mohammed ate rice."

(2)Maxamed bariis (bиu|ayиu) cunay.

Mohammed rice FOC:3SG.M ate.

"Mohammed ate rice."

(3)Bariis waxa cunay Maxamed. rice FOC ate Mohammed

"Mohammed ate rice."

(4)Maxamed bariis wиu cunay.

Mohammed rice AUX:3SG.M ate

"Mohammed ate rice."

## $2.2 u, k u, k a, l a$

Sentences below (5)-(7) are examples with $k a$ "from". They basically share the same meaning, only differing in the word order. As apparent in the ungrammaticality of (8), the lexeme $k a$ and the verb yimi must not be intervened.

(5)Maxamed baaka yimi Soomaaliya.

Mohammed FOC from came Somalia

(6)Maxamed baa Soomaaliya ka yimi. Mohammed FOC Somalia from came

(7)Soomaaliya Maxamed baa ka yimi. Somalia Mohammed FOC from came (1)-(3): "Mohammed came from Somalia."

(8)*Maxamed baa ka Soomaaliya yimi. Mohammed FOC from Somalia came intended: "Mohammed came from Somalia."

The other UKKLs, $u$ "for", $k u$ "in", la "with", also syntactically behave similarly to $k a$. Below are examples containing them.

(9)Cali shaah $\boldsymbol{u}$ samee!

Ali tea for make

"Make tea for Ali!"

(10)Caano koob-ka ku shub!

milk cup-DET in pour

"Pour milk in the cup!"

(11)Maxamed waa-n la joogay.

Mohammed AUX-1SG with stayed

"I stayed with Mohammed."

Interestingly, the four UKKLS can be combined with each other (12) as well as with object pronouns. In addition, because of the relatively free word order, ambiguities may occur as exemplified in (13). This kind of ambiguities is in most cases resolved by contextual information.

(12)Maxamed guri-ga baa-n ku-la kulmay.

Mohammed house-DET FOC-1SG in-with met

"I met with Mohammed in the house."

(13)Cali baa Maxamed $i-u \quad$ dilay.

Ali FOC Mohammed me-for hit

"Ali hit (Mohammed for me | me for Mohammed)."

## 3 Linguistic Analysis of UKKLS

This section discusses the grammatical status of UKKLS in more detail, chiefly to show that UKKLS are not adpositions and that they function as applicatives. In addition, in view of application to the Universal POS Tagging, we argue that it is suitable for the UD to analyze UKKLs as particles (PART).

## 3.1 Why UKKLS are not adpositions

Adpositions roughly comprise two subcategories: prepositions and postpositions. Adpositions form an ad-

Figure 1 Crossing tree positional phrase when combined with a nominal phrase (NP) adjacent to it, and prepositions specify that the NP succeeds them. In other words, in an adpositional phrase, an adposition is the head and the adjacent NP is the dependent.

In this sense, sentences (5)-(8) clearly show that they are not adpositions, because $k a$ does not necessarily come next to the dependent. If we assume that they are adpositions, we will end up allowing for dependency trees in which branches cross arbitrarily. Figure 1 is an outline showing crossing branches in (10). Therefore, it is inappropriate to deem them as adpositions.

## 3.2 Why they are applicatives

Applicative is a grammatical voice by which an oblique argument is promoted to a core argument of the predicate. (14) is an example of the applicative construction reported in Rombo ( $<$ Chaga $<$ Bantu)[9]. As English never allows "child" to be an object in this case, the argument mwaná "child" is a semantically marginal argument to which is assigned a benefactive semantic role. However, mwaná "child" is treated as an object because of the applicativization in the verb.

## (14)Ksali é-le-m'-kor-i-a mwaná klálo.

Kisali SM.3SG-PST-OM.3sG-cook-APPL-F child food

"Kisali cooked food for her child."

In Somali, UKKLS are applicatives because of the following two facts. First, UKKL is a verbal component that cannot be separated from the main predicate as shown in (13). Second, UKKL augments a new object that is semantically marginal; in particular, $u, k u, k a$, and $l a$ promote benefactive ("for"), locative ("in"), source ("from"), and comitative ("with") arguments to objects respectively. Without using any UKKLS, yimi "came" is a monovalent predicate that only takes a subject (agent). Adding $k a$ to yimi changes it to a divalent predicate requiring an additional object pertain-

Figure 2 Uncrossing tree

Table 1 An example of POS tagging (1)

Figure 3 An example of dependency tree (1)

ing to source. Since Somali is a pro-drop language, even when the augmented object is not pronounced as in (16), the sentence is interpreted as entailing implicit information of source.

(15)Maxamed baa yimi.

Mohammed FOC came

"Mohammed came."

(16)Maxamed baaka yimi.

Mohammed FOC from came

"Mohammed came from there."

In formal semantics, the structural difference between yimi and ka yimi is represented in (17) and (18). Combining multiple UKKLS adds more arguments as in (19).

(17) $\llbracket y i m i \rrbracket=\lambda x . \operatorname{come}(x)$

(18) $\llbracket k$ a yimi $\rrbracket=\lambda y \lambda x$.come-from $(x, y)$

(19) $\llbracket$ kala yimi $\rrbracket=\lambda z \lambda y \lambda x$.come-from-with $(x, y, z)$

This representation solves the problem of dependency mentioned in the previous subsection, and allows for word order scrambling seen in (1). Taking these semantic representations into account, the ideal branching of (1) would look like Figure 2.

## 3.3 Why they are particles

Having demonstrated that UKKLS are at least not adpositions and that they derive applicative construction, it is still unclear as to which part-of-speech they are covered in. Given the strong combination of UKKLS and predicates, there are three possibilities: verbal prefix, clitic, and particle. For the sake of compatibility with UD, we argue that UKKLS are particles (PART).

Formally distinguishing prefixes, clitics, and particles is a disputable matter. As Zwicky noted that so-called particles are in fact either clitics or affixes or something that are difficult to be labelled[10], particles can even be an unnecessary label. In theoretical linguistics, it is possible, or even suitable, to assume that UKKLS are verbal prefixes in speakers' linguistic knowledge. When a morpheme is an affix, it is attached to its stem and cannot appear on its own. Even though they look like an independent lexeme in the orthography, they are phonologically pronounced together with the succeeding predicate.

However, this interpretation would require text-based NLP to prepare some additional pre-processings. In light of the definition of particles (PART) given by $\mathrm{UD}^{1)}$, it is more reasonable for UD to label them as particles.

## 4 Universal POS Tags and Dependency Tree

UD is an ongoing project to establish a universal framework for annotation of grammatical information in different languages. As of 2020 it covers over 120 languages, and more UD languages are being prepared. At the time of this writing, Somali is not included in the list of UD languages. Given this situation, this section briefly dis-

1) "Particles are function words that must be associated with another word or phrase to impart meaning and that do not satisfy definitions of other universal parts of speech"[7].

Table 2 An example of POS tagging (2)

Figure 4 An example of dependency tree (2)

cusses what POS tags, features, and syntactic relations are needed for the establishment of the Somali UD based on the observation we have made in the previous sections.

As we have already seen that UKKLS should be categorized in PART, adposition (ADP) is no longer necessary for the Somali POS tags. A practical example of POS tagging is shown in Table $1^{2}$. Based on this POS tagging, Figure 3 is an instance of a manually drawn dependency tree. The syntactic relation binding the predicate and the particle $k u$ is assumed to be aux (auxiliary). The feature of the particle is specified as PartType=Loc, as it adds an object with a locative semantic role.

Specifying the morphological features in this way resolves the morphological complexity of Somali; for example, in (13), the morphemes $i$ "me" and $u$ "for" are combined into one token even though they do not necessarily share a direct syntactic dependency. An example of this kind of particle combination is shown in Table 2, where idinkula is a combination of idin "you (plural)", $k u$ "in", and la "with", and its corresponding dependency tree in Figure 4. Since applicativization and object pronouns are specified in the features, the dependency trees correctly predict the desired interpretation.

These dependency trees contain two novel features: Valency and Focus. Valency, requiring the number of core arguments as its value, is a feature proposed by Senuma \& Aizawa for a morphological analysis of Ainu, which also has applicative construction[12]. The fact that

2) The sample sentences in Tables 1 and 2 were collected from Orwin (1995)[11] the valency is augmented to 3 (subject, locative object, comitative object) is represented by this feature. Focus is a language-specific feature for Somali. It takes a boolean value, and when Focus=True, the token puts a focus on a certain phrase which is uniquely determined syntactically.

## 5 Conclusion

This study clarified that $u, k u, k a$, and $l a$ in Somali are neither prepositions nor adpositions, but are functional morphemes for applicativization, each playing a role of augmenting a new core argument with different semantic roles. While verbal prefixes might be a suitable categorization for UKKLS from the viewpoint of theoretical linguistics, PART is reasonable for the UD POS tagging for the sake of consistency. In addition, we made a tentative proposal for practical POS tagging and dependency parsing of Somali by defining POS tag sets, features, and syntactic relations. This study established a ground for the Somali UD, since it is indispensable to examine the grammar of low-resource languages before starting to apply NLP to them.

## 6 Future Work

How to resolve the ambiguity of grammatical functions mentioned in (13) still remains unclear. In human's natural language understanding, this kind of ambiguity is usually resolved by contextual information. Embedding knowledge graph information or hypernym-hyponym relations might improve the accuracy for machine to resolve the ambiguity.

## References

[1] Annarita Puglielli. Sintassi della lingua somala. Ministero AA. EE., 1981.

[2] John I. Saeed. Somali reference grammar (2nd ed.). Dunwoody Press, second edition, 1993.

[3] Catherine El-Solami-Mewis. Lehrbuch des Somali. Verlag Enzyklopädie, 1987.

[4] Abdalla O. Mansur. Le lingue Cuscitiche e il Somalo. Ministero AA. EE., 1988.

[5] John I. Saeed. Somali. John Benjamins B.V., 1999.

[6] David A. Peterson. Applicative constructions. Oxford University Press, 2007.

[7] Universal POS tags, 2020. universaldependencies.org/u/pos/.

[8] Ethnologue, 2019.

[9] Daisuke Shinagawa. A grammatical sketch of ChagaRombo (Bantu E623). Research Institute for Languages and Cultures of Asia and Africa, 2014.

[10] Arnold M. Zwicky. Clitics and particles. Language, 63(2):283-305, 1985

[11] Martin Orwin. Colloquial Somali. Routledge, 1995.

[12] Hajime Senuma and Akiko Aizawa. Toward Universal Dependencies for Ainu. In Proceedings of the NoDaLiDa 2017 Workshop on Universal Dependencies (UDW 2017), pages 133-139, Gothenburg, Sweden, May 2017. Association for Computational Linguistics.

## A Appendix: Abbreviations
- APPL: applicative
- AUX: auxiliary
- DET: determiner
- $\mathrm{F}$ : final suffix
- FOC: focus
- M: masculine
- OM: object marker
- PST: past
- SG: singular
- SM: subject marker