# SignWriting 表記の手話単語検索のための単語のベクトル表現

松本 忠博
岐阜大学 工学部
tad@gifu-u.ac.jp
}

東香織
岐阜大学工学部
加藤 三保子
豊橋技術科学大学 総合教育院

## 1 はじめに

手話には標準的な文字表現がないことから，主に 手話の言語学的，工学的研究を目的として表記法 がいくつか提案されてきた. Sutton の SignWriting[1] （以下，SWと略す）は主要な表記法の中で唯一日常生活の中で手話を読み書きする書記体系として 提案され，かつ，その文字が Unicode 文字集合にも 含まれている ${ }^{1)}$.これまでに複数の国で，万う児教育の場などでの利用が試みられてきた．SWを使っ た手話文書エディタも複数作られており，我々も JSPad[2] と呼ぶシステムを開発し，公開している.

手話単語の構成要素 (音素) は, 手の形, 手の位置，手の動き，および，顔の表情などの非手指要素 と言われている. SWではそれらを表す図的な記号 を 2 次元的に配置して単語を表記する（図 1)。この 図的な表現は人にとって直観的に分かりやすい反面，自由度が高く，書き手による表記の摇れが大き い。そのため，機械的な単語の同定が単純には行え ず，文書処理の基本操作である単語の検索も簡単で はない。そこでJSPad では，単語を構成する記号間 の類似度の定義と，それをもとにした単語間類似度 の算出アルゴリズムを考案し，SWを入力形式とす る手話一日本語辞書機能を JSPad に実装した [3]. さ らにその改良として，とくに表記の摇れが大きい手 の動きの表記について，動きの特徴量を要素とする 動作特徴ベクトルを定義して, 単語識別精度の向上 を図った [4].

本研究では $\mathrm{SW}$ 表記の手話単語を辞書検索するこ とを主な目的として，動作だけでなく，手の形や位置などの要素についてもべクトル化する方法を検

1) Sutton SignWriting (Unicode block): https://unicode.org/ charts/PDF/U1D800.pdf

図 1 SignWriting による単語の表記例

討している．単語の辞書検索を，手書き文字認識の ように多クラス分類問題として解くには，書き取り データのサンプル数が少ないこと，そして，辞書に 単語が追加された際の対応や，他の国・地域の手話単語辞書への適用がしやすいことなどから，ここで は単語間の類似度を用いて，検索対象の単語との類似度が高い辞書内の単語をユーザに提示する方式を とる。

## 2 SW による手話表記と表記摇れ

SWでは図 2 に示すような図的な記号 (International SignWriting Alphabet, $\mathrm{ISWA}^{2)}$ ) 2 次元的に配置し て手話単語を記述する. 国際発音記号のように様々 な国の手話に対応できるよう，ISWA2010では7つ のカテゴリ (手形，動作，強弱，頭・顔，体など), 30 のグループ，652 種類の基本記号（base symbol） が用意されている。さらに，手形記号と動作記号に は 2 つの修飾要素 fill（手形記号では手のひらの向 きを表す 6 種類）と rotation（手形記号では指先の 向きと左右の手の違いを表す 16 種類）を指定する ことができるため，1 つの基本記号に対して最大で $6 \times 16=96$ 通りの記号が存在することになる。

音声言語では音素（子音・母音）は逐次的に表出 され，文字も 1 次元的に並べられる．手話言語の音素（手の形，向き，位置，動き，顔の表情など）は

2) ISWA 2010: https://movementwriting.org/symbolbank/ index.html\#ISWA2010

図 2 SignWriting で使用される文字 ISWA

3 次元空間上で同時的に表出され，SWではこれを 2 次元平面上に射影した形で表す. その際，類似し た記号のうち（単語の弁別に影響しない範囲で）ど れを選択するか (例：0と几)，指先や手のひらの 向き（角度）がどの記号とも一致しない場合にどの 角度で近似的に表すか，省略可能な記号があるとき にその記号を省略するかしないか，視点をどう選ぶ か（例：話者視点しと，上からの視点4日）など， SW では書き手が恣意的に選択できる要素が多い.同じ動きを表す複数の方法が存在する場合もある （例えば，右手を 2 度上に動かす動作は，記号 丹爪で 表すことも，記号介を 2 つ並べて表すこともでき る).また，内部表現では，記号の位置はピクセル 単位で指定できるため，ひとりの書き手が同じ単語 を書いても，一般に記号の配置はまったく同じには ならない. さらに，実際の手話にも話者によって手 の形や動きが微妙に異なる表現の摇れがあり，それ が表記摇れにつながることもある。これらの要因に より，SW による手話の表記には大きな摇れが生ず るため，文書内の単語の検索のような基本的な操作 も音声言語の文字と同じようにはできない.

## 3 SW 形式の手話単語の検索

## 3.1 関連研究

SW で書かれた手話単語の検索手法として，Costa ら [5] は，2つの単語の照合時に記号の位置のずれ を許容する単語類似関係（sign similarity relation）を 定義し，それを用いた照合手続きを提案している. また，Aerts ら [6] は，検索対象となる単語の手の形 と，その手が接触する体のゾーン，及び，接触の仕方をユーザに指定させることで，単語を検索する方法を提案している。いずれも記号の類似性について
は考慮しておらず，記号の違いは許容されない。

SW の Web サイト3)では，SW によるオンライン 手話辞書 SignPuddle や，SW を使って手話文書を作成するソフトウェアなどがいくつか公開されてい る.これらのソフトウェアにも辞書内の単語を検索 する機能が用意されているが，手話からその訳（英語等）を検索する方法は，単語を構成している記号 を指定するものであり，記号間の類似性や記号の位置情報は考慮していない。

## 3.2 JSPad における従来手法

JSPad では，単語を構成する記号や配置が完全に 一致しなくても，ユーザが記述した単語と類似した 単語を辞書内から見つけ出し，候補をユーザに提示 する機能を実装してきた. ここでは単語間の類似度 を求めるための 2 種類の従来手法の概略を述べる.

## 手法 1

まず，比較対象となる 2 つの単語を構成する記号間の対応関係を推定する．そのために，すべての記号の対応関係のうち，対応する記号間の類似度の平均が最も大きくなるものを探索し，その記号間類似度の平均值を単語間の類似度とする。計算量を抑え るため，類似度 0 の記号の組み合わせが見つかった 場合は，その対応関係は候補から除外する。また，記号数の差が一定以上の場合は，単語間の類似度を 0 とする.

記号間の類似度は，記号が表す手などの形と，単語内での記号の相対位置をもとに算出する. ISWA の各記号は，SSS（sign symbol sequence）と呼ばれる 6 つの值の組によって識別される. これは，各記号 のカテゴリ，グループ，基本記号番号，バリエー ション, 塗り（fill）, 回転 (rotation) を表すもので,例えば，手形記号 は 01-09-016-01-03-01，動作記号 $\Uparrow$ は2-03-001-02-01-01 と表される. 形の類似性 は，このSSSをもとに算出する。また，同じグルー プに属す記号でも，記号が表す手の形が類似したも のとそうでないものが混在する（図 2）ため, 独自に サブグループを設けて類似度の調整に用いている。

位置情報については，対応する記号の単語内の相対位置間のユークリッド距離により類似度を減じる ことで，類似度に反映させる。


## 手法 2

手法 1 の評価実験の結果，ISWA 記号のうち，と くに手の動きを表す記号の表記摇れが大きいことが 分かった. そこで手の動きについては，単語に含ま れる動作の成分（右手の垂直運動, 左手の円運動,反復の有無，接触の有無など）を特徴量とする 39 次元の動作特徵ベクトルで表す. そして，2つの単語の動作特徴ベクトルのコサイン類似度と, 手法 1 による動作以外の要素から得られる単語間類似度の 加重平均を単語間の類似度とした [4].

## 4 手話単語のベクトル化

本研究では手の動き以外の，手形，頭・顔，体 （肩，腕，腰など）の記号についてもべクトル表現を 定め，それらをもとに単語べクトルを生成する. ベ クトル化することで，記号の対応関係を推定するた めの探索を行う必要がなくなる.

## 4.1 記号とその位置のベクトル化

比較対象となる 2 つの単語を構成する記号間の類似度は，記号そのものの類似度と単語内での記号の 相対的な位置によって決まる. まず，記号の類似性 により記号のベクトル表現を取得し，位置情報をそ のベクトルにエンコードする.

## 記号のベクトル化

手法 1 で取得した記号間類似度の算出結果を訓練 データとして用いて，記号が表す手の形などの類似性に基づく記号べクトルを取得する. 学習のための ニューラルネットワークのモデルを図 3 に示す. 入力は比較対象となる 2 つ記号の ID であり, 図中 の 2 つの埋め込み層の重みは共有されている. 2 つ の埋め込み層の出力ベクトルのコサイン類似度が,手法 1 で得られた結果に近づくように学習を行う.学習の結果得られた埋め込み層の重みを記号べクト ルとする.

すべての記号の組み合わせを学習対象にすると訓練データのサイズが大きくなり, 訓練時間も長くな るため，学習はカテゴリごとに行った. カテゴリご との記号数（種類）と埋め込みベクトルの次元数を 表 1 に示す.

記号ベクトルのサイズはカテゴリによらず 185 次元の固定長とする．埋め込みベクトルデータを格納 する位置をカテゴリごとに設定し，空き領域には 0 を埋める．カテゴリの異なる記号間のコサイン類似

図 3 記号間類似度の学習モデル。

度は 0 になる。

## 位置情報のエンコード

手法 1 では，同一の記号でも単語内での相対位置 の違いにより類似度が変化する。これをべクトルで 表現するために，記号の位置情報をべクトルにエン コードする．単語内での相対位置をもとに正規分布 の平均 $\mu$ を設定し，カテゴリごとの重みをかけて記号べクトルに加える．位置情報には $x$ 成分と $y$ 成分 があるため，例えば手形記号（100 次元）では， $x$ 成分を表す正規分布を先頭の 50 次元に，y成分を表す 正規分布を残りの 50 次元に加える.

## 4.2 単語のベクトル化

単語に含まれる記号のベクトルをカテゴリごと に重みをつけて統合し, 固定長の単語ベクトルを取得する. 動作記号（と強弱記号）に対するべクトル については，手法 2 の動作特徴ベクトルを流用す る. 統合の仕方としては，記号べクトルの和をと る (sum pooling)，あるいは，各要素の最大值をとる (max pooling), 平均をとる（average pooling）などが 考えられる．次節の実験では，単語に含まれる記号 のベクトルの，カテゴリごとの平均を単語ベクトル とした. したがって，単語べクトルのサイズは，記号ベクトルと同じ 185 次元である.

## 5 評価実験

単語ベクトルによる単語間類似度評価のために辞書検索実験を行った。

これまでに, 累計 33 名の被験者に日本手話の単語のイラスト 20 語，動画 10 語（の一部）を見て SW

で書き取ってもらい，計 30 種類 406 語の表記デー タを収集している．明かな表記上の誤りには修正を 加え，修正が困難なものは除外した．表記サンプル のそれぞれを辞書検索し，辞書中の目的の単語（正解）が類似度順で何位になるか調べた。「1 位」，「5 位以内」，「10 位以内」を正解とした場合の正解率の マイクロ平均と，406 語の検索にかかった時間を表 2 に示す.

表中のベクトル欄「なし」は動作特徴ベクトルも 単語ベクトルも用いない従来の手法 (手法 1)，「動作」は動作記号のみべクトル化する手法（手法 2) である.

「記号」は手法 2 において，記号の形状に基づく 類似度算出部分に記号ベクトルを使用した方法であ り，記号の位置情報はベクトルにエンコードしてい ない.

「単語 1」は記号べクトルに位置情報をエンコード して，(動作を除く）単語ベクトルを生成し，その単語ベクトルによる類似度と, 動作特徵べクトルによ る類似度の加重平均（9:1）を単語類似度としたもの である.

「単語 2」は動作特長ベクトルを単語ベクトルに組 み入れて 1 つのべクトルにして類似度を求めたもの である.

ベクトル間の類似度にはコサイン類似度を使用し た. 辞書の登録語数は 2048 である.

実験の結果，今回の単語ベクトル表現では，実行時間を短縮することはできたものの，正解率はいず れの場合も下がる結果となった。実行時間が短く なった理由としては, 記号の対応関係の探索が不要 になったことと, 辞書単語のべクトルを予め求めて 辞書に格納しておけるようになったことがあげら れる。

なお，記号べクトルを用いない従来手法におい て，記号間類似度や単語間類似度を定める際，どの ような表記摇れがあるかを調査するためにこれら の表記サンプルを参照しているため，この実験はク ローズドテストとも言える.

## 6 おわりに

SW で表記された単語を辞書や文書中から検索す ることを目的として現在検討している手話単語の ベクトル表現について述べた. 手の動きの要素につ いては動作特徴量をもとにべクトル化し, 手の形や 頭・顔，体（肩，腕，腰）などを表す記号について表 2 日本手話単語による評価実験の結果

} \\

は，従来手法で得られた記号間類似度をもとに埋め 込みベクトルを取得した。記号の位置情報は，正規分布を用いて記号べクトルにエンコードしている.実験の結果，検索にかかる時間は短くなったが，今回の単語のベクトル化方法では正解率は低下した。

サンプルごとの結果の詳細な分析とそれに基づく 手法の改善は今後の課題である. オープンテストと なる別のデータセットによる評価実験についても今後行う予定である.

## 謝辞

本研究は JSPS 科研費 JP18K11430 の助成を受けた ものです.

## 参考文献

[1] Valerie Sutton. Textbook and Workbook, 3rd ed. The deaf action comittee for SignWriting, 2002. https://www. signwriting.org/lessons/books/.

[2] Tadahiro Matsumoto, Mihoko Kato, and Takashi Ikeda. JSPad-a sign language writing tool using SignWriting. In Proceedings of the 3rd International Universal Communicatin Symposium (IUCS2009), pp. 363-367, 2009.

[3] 高瀬友宏, 松本忠博, 加藤三保子. SignWriting を利用 した手話文書エディタ JSPad における手話-日本語辞書について. 言語処理学会第 18 回年次大会発表論文集, pp. 1220-1223, 2012.

[4] 岡田紳太郎, 松本忠博, 加藤三保子. 動作特徴ベクトル の導入による SignWriting 表記の手話単語の類似度定義の改良と評価. 言語処理学会第 25 回年次大会発表論文集, pp. 1141-1144, 2019.

[5] Antônio Carlos da Rocha Costa, Graçaliz Pereira Dimuro, and Juliano Baldez de Freitas. A sign matching technique to support searches in sign language texts. In Workshop on the Representaion and Processing of Sign Languages, LREC2004, Lisbon, pp. 32-36, 2004.

[6] Steven Aerts, Bart Braem, Katrien Van Mulders, and Kristof De Weerdt. Searhing SignWriting signs. In Workshop on the Representation and Processing of Sign Languages, LREC 2004, Lisbon, pp. 79-81, 2004.
 松本 忠博 岐阜大学 工学部 tad@gifu-u.ac.jp }  東香織 岐阜大学工学部 加藤 三保子 豊橋技術科学大学 総合教育院  