# 低リソース「日本語対応手話-日本語」対訳コーパスによる 助詞挿入と語尾活用に注目したパイプライン手話翻訳

矢野 憲
電気通信大学
yanoken@uec.ac.jp
}

内海 彰
電気通信大学
utsumi@uec.ac.jp

## 1 はじめに

手話は手指動作と被手指動作 (NMS,non-manual signals)を同時に使う視覚言語で，音声言語になら ぶ固有の文法を持った言語である [1][2][3][4][5]. 日本ではろう者同士, またはろう者と聴者の間で生ま れ広がった日本手話 (Japanese Sign Language, JSL) の ほか, 日本語と手話の語をほぼ一対一に対応させた 日本語対応手話, その両者の中間的な表現等が使わ れるが，実際には日本手話と日本語対応手話との区別は曖昧であるとされる. 手話の特徴として, 話言葉における自立語同士の関係性を示す付属語に相当 する語が手指動作に現れない傾向がある [1][2][6].例えば手話では質問・疑問を意味する終助詞「か」 などの例外を除いて, 話言葉の助詞に相当する語は 表現されないことが多い. また日本語では動詞, 助動詞, 形容詞は語の働きの違いにより語尾が活用す るが，手話では一般的にそのような語形の変化が見 られないという特徴がある.このような言語的な違 いに注目して日本語から手話への機械翻訳の既存研究 ([7],[8] 等) は存在するが, 手話から日本語への既存研究は存在しない. 従って, 本研究では助詞の挿入, 語尾活用に注目した日本語対応手話から日本語 への機械翻訳の手法を提案した。

手話を話言葉へ翻訳するタスクでは，通常手話動画から連続する手話動作を認識し中間的な表現に 変換後, その中間表現を話言葉に翻訳するという 2 段階で行われる [9][10][11][12].この中間表現は一般的に gloss（グロス）と呼ばれる. 手話を認識する 問題はこれまでに Computer Vision の分野で活発に 取り組まれてきたが, 本研究では特に手話認識後の gloss 系列から日本語へ翻訳するタスクに取り組み,少量の手話-日本語対訳データからでも精度の高い 翻訳結果を得るパイプラインによる翻訳手法を提案

## した. 実験の結果, 提案手法の有効性を確認した。

## 2 対訳コーパス

## 2.1 日本語対応手話-日本語対訳コーパス

自動機械翻訳の目的で構築された大規模な日本手話または日本語対応手話と日本語の対訳コーパスは 存在しない.このため, 本研究では筆者らが現在取 り組んでいる共同研究で使用している対訳コーパス を用いた。本コーパスには手話の gloss による中間表現と対応する日本語対訳が 1086 件存在する. 本 コーパスの内訳として手話の gloss に含まれる gloss 数が約 $7.5 \mathrm{~K}$, 語彙数が 655 , 語に分割後の日本語対訳に含まれる語数が約 $11 \mathrm{~K}$, 語彙数が $1.2 \mathrm{~K}$ である.本コーパスの特徴として, gloss は $g N(\mathrm{~N}$ は任意の数字列）のように記号表記されていることである. 本 コーパスでは記号表記された gloss と対応する日本語は別に辞書として定義している.これは，一つの gloss が複数の日本語へ対応しているためである.参考までに，表 1 に対訳コーパスに含まれる対訳例, 表 2 に該当する gloss の辞書定義の例を示した。

なお， ドイツ手話 (DGS) やアメリカ手話 (ASL)の 対訳コーパスでは, 辞書を用いずに gloss が意味す る話言葉おける単語を大文字 (capital letters) で表現 していることが多い [10],[6].

表 1 手話 gloss-日本語対訳例

表 2 gloss 辞書定義の例

## 2.2 日本語コーパス

本研究では, 手話と日本語との対訳コーパスの他 に, 現代日本語書き言葉均衡コーパス (BCCWJ) か ら生成した擬似日本語対訳コーパスを用いた。これ は対訳コーパスではサンプル数が十分でないため に, データ駆動による深層学習を用いた機械翻訳手法を適用することが困難なためである. 本研究で用 いた日本語対応手話-日本語対訳コーパスは, 会話 における話言葉が中心であるため，そこに現れる文末のパターン ( か?,〜しました,〜ほしいです,〜 います,〜します,～希望する, 等) で BCCWJ コーパ スの検索を行い該当する約 20 万の文を選択した。選択された日本語コーパスは助詞の挿入や, 語の語尾活用を行う機械学習モデルの教師データとして用 いた. 詳細については 4 . モデルの学習で述べる.

## 3 翻訳手法

## 定義

$\mathscr{G}$ は長さ $\mathrm{N} の$ gloss 系列 $\mathscr{G}=\left(g_{1}, \ldots, g_{N}\right)$ を示し， $\delta$ は長さ $\mathrm{U}$ の日本語列 $\mathcal{S}=\left(w_{1}, \ldots, w_{U}\right)$ を示す. $\delta$ に対してさらに助詞, 語尾活用を示す 2 つの添字 $P P$ と $C$ を定義し, それぞれの添字の前の + と - で 助詞の挿入, 語尾活用が適用されているか否かを示 す. 例えば $\delta_{-P P-C}$ は助詞がなく, 語の活用形を基本形にした日本語列を示し, $\delta_{+P P+C}$ は助詞の挿入,語尾活用後の日本語列を示す.

## アルゴリズム

提案する gloss 系列から日本語への翻訳アルゴリ ズムを Algorithm 1 に以下に示した.

各 Step で行う処理を以下で説明する。
- Step 0: 統計的機械翻訳の手法を用いて gloss 系列を対応する日本語列へ変換する.
- Step 1: seq2seq 機械翻訳モデル (m1)を用いて Step 0 で得られた日本語列に対して助詞を挿入 する.
- Step 2: seq2seq 機械翻訳モデル (m2)を用いて Step 1 で得られた日本語列に対して活用による 語尾活用を行う。

-Step 3: Step 2 で得られた日本語列から助詞を削除する.
- Step 4: seq2seq 機械翻訳モデル (m3)を用いて Step 3 で得られた日本語列に対して助詞を插入

する.
- Step 5: Step 4 で得られた日本語列から語尾活用 された語を基本形に変換する。

Step 1 では語の活用形を基本形にした日本語列への 助詞の挿入に対して, Step 4 では語尾活用後の日本語列への助詞の挿入の違いがある. 表 3 に表 1 で示 した例のパイプラインによる翻訳例を示す.

表 3 パイプラインによる翻訳例

## 4 モデルの学習

翻訳アルゴリズムで用いたモデルの学習方法につ いて説明する.

## 4.1 統計的機械翻訳モデル

翻訳アルゴリズムの Step 0 には統計的機械翻訳 (SMT)[13] を用いた。学習は, 対訳コーパスを用い て行ったが, 目的言語である日本語は $\mathrm{MeCab}^{1}$ によよ る形態素解析の結果から助詞を削除し, 語尾活用の ある語については, 基本形に変換する前処理を行 なった。目的言語の言語モデルとしては， 3-gramの Kneser-Ney smoothing を用いた。なお, 学習データに gloss 辞書の定義を追加の対訳データとして含めた. これはコーパスサイズが少ないため学習データに一度しか現れない gloss が多く存在するためである.

1) https://pypi.org/project/mecab-python3/

## 4.2 seq2seq 機械翻訳モデル

翻訳アルゴリズムの Step 1 における機械翻訳モデ ル (m1)には, Transformer[14]による seq2seq 翻訳モ デル [15]を用いた。対訳コーパスは日本語コーパス に含まれる文から, 原言語, 目的言語を以下のよう にして作成した。
- 原言語:原文の形態素解析の結果から助詞を削除し, 語尾活用のある語については, 基本形に 変換

-目的言語:原文の形態素解析の結果から語尾活用のある語については，基本形に変換

これは単言語コーパスから $\delta_{-P P-C}$ から $\delta_{+P P-C} へ$翻訳する擬似的な対訳コーパスを生成することを意味する. seq2seq のハイパーパラメータについては,事前実験より以下のように定めた: encoder， decoder の embed サイズ:512, FFN のユニット数:2048, layer 数:6, attention head 数:8. また encoderの入力, decoder の出力には tied-embedding を使用した. Optimizerに は Adam を使用し, 学習率は初期値 5e-4 で更新回数 の逆平方根に基づき減衰させた。作成した対訳コー パスを 8:1:1 の割合で, train,dev,test データセットに 分割し, devによる性能が一番高いパラメータで評価を行った。

翻訳アルゴリズムの Step 2 における機械翻訳モデ ル (m2), Step 4 における機械翻訳モデル (m3) は同様 に Transformer ベースの se2seq を用いたが，擬似対訳コーパスの生成方法のみが異なる. 予備実験の結果から得られたパラメータと学習方法は機械翻訳モ デル (m1) と同様であるため詳細は割愛する.

## 5 実験と結果

対訳コーパスからランダムに 10 個の対訳データ をテストに選び, 残りを学習データとして, 統計的機械翻訳モデルを再学習したモデルで翻訳を行う 実験を 100 回繰り返し，その結果得られた 1000 個 の翻訳と，参照訳とで翻訳性能の評価を行った。な お, seq2seq 翻訳モデル $(\mathrm{m} 1, \mathrm{~m} 2, \mathrm{~m} 3)$ については，す べての実験で事前に学習済みのパラメータを使用 し，ビームサイズ 5 でデコードを行なった.

比較するベースラインモデルとして以下の 4 つの モデルと, Yin et al. [12] が提案している end-to-end 手話機械翻訳モデル G2T (Gloss to Text) との比較実験を行った. Algorithm 1 で示した提案手法は
SMT+Iterative_seq2seqとした.

・naive: gloss 辞書を用いて, gloss を日本語へ置 き換えることで翻訳を行うモデル．辞書に複数 の日本語が定義されている場合, 一番最初の語 を選択する。

-SMT: 統計的機械翻訳モデルで $\mathscr{G}$ から直接 $S_{+P P+C}$ へ翻訳を行うモデル.

-SMT+1step_seq2seq: Step 1, Step 2 の seq2seq 翻訳モデル $(\mathrm{m} 1, \mathrm{~m} 2)$ で行っている $\delta_{-P P-C}$ から $\mathcal{S}_{+P P+C}$ への翻訳を一つの seq 2 seq で翻訳を行 い，逐次的に翻訳結果の更新を行わないモ デル.

-SMT+2step_seq2seq: Step 0 から Step 2 までの処理を行い，逐次的に翻訳結果の更新を行わない モデル.

G2T[12] はドイツ手話またはアメリカ手話のサイ ズの大きい対訳コーパス [10],[6] を使用している 為, 予備実験において日本語対応手話-日本語の対訳 コーパスを用いて，ハイパーパラメータ検索を行い $\operatorname{dev}$ セットにおいて一番性能が良かった以下のパラ メータを用いて実験を行った。 embed サイズ:256, FFN の embed サイズ:1024, layer 数:1, attention head 数:4 (encoder, decoder 共通)

性能評価は，BLEU1/2/3/4个[16], METEOR $\uparrow[17]$, WER(Word Error Rate)】を用いた. 結果を表 4 に示 す. 結果より，gloss 辞書により単純に gloss を日本語へ置き換える翻訳手法では，文法的に正しい日本語にならず低い性能を示す. G2T の性能はいずれ の指標においてもSMT の結果よりも低い值を示し た. 手話言語の違いもあるが，低リソースの場合, seq2seq モデルでは SMT の性能を超えることが困難 であることを示している. SMT と seq2seqによるパ イプラインモデルでは, SMT の性能から大幅に性能 を向上している。これは日本語コーパスから作成し た擬似対訳コーパスで学習された seq2seq モデルが,手話翻訳における助詞の挿入, 語尾活用に非常に有効であることを示している. 更に表 5 に SMT とパ イプライン翻訳モデルの BLEU3, BLEU4 スコア值に よる t-test 検定の結果を示した。

表 5 からパイプラインモデルが SMT よりも有意に性能が高いことがわかる. SMT+1step_seq2seq と SMT+2step_seq2seq とでは有意な差はなかった が，提案手法である SMT+Iteraive_seq2seq は BLEU3 において SMT+1step_seq2seq, SMT+2step_seq2seq 共
表 4 各モデルの翻訳性能の結果 (BLEU1/2/3/4个, METEOR $\uparrow, W E R \downarrow)$

表 5 SMT, SMT+1step_seq2seq, SMT+2step_seq2seq, SMT+Iterative_seq2seq の BLEU3, BLEU4 スコア值による t-test 検定 の結果. 数値は $\mathrm{p}$-value を示す. *は $\mathrm{p}$-value が<0.05, **は $\mathrm{p}$-value が<0.01 を示す.

表 6 SMT+Iterative_seq2seqにより翻訳結果を得るまでに 行ったループ処理の回数とその頻度

に，また BLEU4 については SMT+1step_seq2seq と で有意な差を認めた。このことから, 助詞の挿入 と語尾活用の推測には相互依存性があり逐次的 に双方を修正する SMT+Iteraive_seq2seq は翻訳精度 を高める上で有効な手法であると判断できる. 次 に，SMT+Iteraive_seq2seqによる翻訳が Algorithm 1 の何回目のループで収束したかを調査した. 結果 を表 6 に示す. 表 6 より約 $72 \%$ の結果については， ループ処理の回数が 1 であったことを示す.これは Algorithm 1 の Step 1 の語尾活用前の日本語列に対す る助詞の推定と最初のループ処理での Step 4 におけ る語尾活用後の助詞の推定が同じであったことを 示している. また約 $26 \%$ の結果については 2 回目の ループ処理で結果が収束しており, これは語尾活用前の助詞の推定が最初の Step 4 における語尾活用後 の助詞の推定で修正されたことを示している.ルー プ回数が 4 以上のものは, hallucination[18] エラーが あった場合で, その場合, 出力語列を切り詰めて出力するようにした.

付録の表 7 に各モデルが出力する翻訳例を表 8 に 翻訳元となる gloss の辞書定義を示した. SMT, G2T
の翻訳には文法的な誤りを多く含むことが確認で きる. $\delta_{+P P+C}(1), \delta_{+P P+C}(2)$ は SMT+Iteraive_seq 2 seq のループ処理における 1 回目，2 回目の翻訳結果 である. $S_{+P P+C}(1)$ で見られる助詞挿入の誤りが $S_{+P P+C}(2)$ では修正されていることがわかる. なお,表 7 の最後の例のように助詞推定の曖昧性 (「で」 または「の」) が発生するケースもある.この対策 として, 非手指動作 (NMS) を gloss の付属情報とし て用いることや，会話の文脈情報をモデルに組み込 んで判断することが考えられるが，今後の課題とし たい.

## 6 まとめ

本研究では, SMTにより少量の対訳コーパスを用 いて gloss を対応する日本語へマッピングする翻訳 モデルと大量の日本語コーパスから得られた擬似対訳データにより学習した助詞の挿入を行う seq 2 seq 翻訳モデルと語尾活用を行う seq $2 \mathrm{seq}$ 翻訳モデルを パイプラインで繋いだ手話から日本語への機械翻訳手法について提案した。実験結果より，SMTのみを 用いた場合に比べ BLEU3/4による翻訳性能がそれ ぞれ+4.3/+4.9 向上することを確認した.

## 謝辞

本研究は, 電気通信大学とソフトバンク株式会社 との「聴覚障害者と健聴者を繋ぐ相互コミュニケー ションシステムに関する研究開発」の支援により実施された。

## 参考文献

[1]岡典栄, 赤堀仁美. 日本手話のしくみ. 大修館書店, 2011 .

[2]松岡和美. 日本手話で学ぶ手話言語学の基礎. くろしお 出版, 2015.

[3]Kazuyuki Kanda, Akira Ichikawa, Yuji Nagashima, Yushi Kato, Mina Terauchi, Daisuke Hara, and Masanobu Sato. Notation system and statistical analysis of NMS in JSL. In Revised Papers from the International Gesture Workshop on Gesture and Sign Languages in Human-Computer Interaction, p. 181-192. Springer-Verlag, 2001.

[4]Atsuko Koizumi, Hirohiko Sagawa, and Masaru Takeuchi. An Annotated Japanese Sign Language Corpus. In Proceedings of the Third International Conference on Language Resources and Evaluation, 2002.

[5]Mayumi Bono, Kouhei Kikuchi, Paul Cibulka, and Yutaka Osugi. A Colloquial Corpus of Japanese Sign Language: Linguistic Resources for Observing Sign Language Conversations. In Proceedings of the Ninth International Conference on Language Resources and Evaluation, pp. 1898-1904. European Language Resources Association, 2014.

[6]Clayton Valli, Ceil Lucas, Kristin J. Mulrooney, and Miako N.P. Rankin. Linguistics of American Sign Language. Gallaudet University Press, Washington, DC, 2011.

[7]松本忠博, 池田尚志. 日本語テキストから手話テキスト への機械翻訳の試み. 自然言語処理 / 言語処理学会 編, Vol. 15, No. 1, pp. 23-51, 2008.

[8]Taro Miyazaki, Yusuke Morita, and Masanori Sano. Machine Translation from Spoken Language to Sign Language using Pre-trained Language Model as Encoder. In Proceedings of the LREC2020 9th Workshop on the Representation and Processing of Sign Languages: Sign Language Resources in the Service of the Language Community, Technological Challenges and Application Perspectives, pp. 139-144. European Language Resources Association, 2020.

[9]Mathieu De Coster, Mieke Van Herreweghe, and Joni Dambre. Sign language recognition with transformer networks. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 6018-6024. European Language Resources Association, May 2020.

[10]N. C. Camgöz, S. Hadfield, O. Koller, H. Ney, and R. Bowden. Neural Sign Language Translation. In 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 7784-7793, 2018.

[11]N. C. Camgöz, O. Koller, S. Hadfield, and R. Bowden. Sign Language Transformers: Joint End-to-End Sign Language Recognition and Translation. In 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 1002010030, 2020.

[12]Kayo Yin and Jesse Read. Better Sign Language Translation with STMC-Transformer. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 5975-5989. International Committee on Computational Linguistics, December 2020.

[13]Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open Source Toolkit for Statistical Machine Translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180,
Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[14]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is All You Need. 2017.

[15]Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A Fast, Extensible Toolkit for Sequence Modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[16]Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318. Association for Computational Linguistics, July 2002.

[17]Satanjeev Banerjee and Alon Lavie. METEOR: An automatic metric for MT evaluation with improved correlation with human judgments. In Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization, pp. 65-72. Association for Computational Linguistics, June 2005.

[18]Chaojun Wang and Rico Sennrich. On Exposure Bias, Hallucination and Domain Shift in Neural Machine Translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3544-3552, Online, July 2020. Association for Computational Linguistics.

## 付録

表 7 gloss 辞書により $\mathscr{G}$ を日本語単語へ置き換える naive な手法, G2T[12], 統計的機械翻訳 (SMT) と提案手法 SMT+Iteraive_seq2seq による翻訳の例． $S_{-P P-C}$ は SMT による Step 0 の出力を示し， $S_{+P P+C}(1), S_{+P P+C}(2)$ はそれぞれ seq 2 seq モデル $(\mathrm{m} 1, \mathrm{~m} 2, \mathrm{~m} 3)$ により翻訳結果を 1,2 回更新した後の翻訳結果. いずれも更新回数 2 回で翻訳結果が収束して いる例.

表 8 表 7 で使われている gloss の辞書定義

g258 g27 g294 g307 g33 老人、おじいさん 助成、支援、補助負担安い g4 登録

g860 住宅、宿

g87 自分、自己、自

g9 か、あなた
 矢野 憲 電気通信大学 yanoken@uec.ac.jp }  内海 彰 電気通信大学 utsumi@uec.ac.jp  