# Universal Dependencies の変遷と評価表現抽出への影響

岩本蘭
慶應義塾大学
r.iwamoto@keio.jp
}

金山博
日本アイ・ビー・エム株式会社 東京基礎研究所
hkana@jp.ibm.com

## 1 はじめに

近年, 自然言語処理の研究がいくつかの言語に 偏っていることが問題視されており, 多言語の 言語資源作成やシステムの開発が進められてい る [1]. 100 を超える言語のツリーバンクを提供す る Universal Dependencies(UD) [2,3] は言語間で共通 の $\mathrm{PoS}$ タグや依存構造ラベルをアノテーションに用 いている.UDの目的は言語間の共通性を保ちつつ 個々の言語の性質を表現することであり，UDコー パスで学習した構文解析器は多言語の応用タスクへ の活用が期待されている．UDのアノテーションは 半年ごとに更新されているが，それらの更新が構文解析 [4] や応用タスクに与える影響については十分 な分析がなされていない.

本稿では, 23 言語の UD コーパス ver. 2.0 (2017 年 3 月) - ver. 2.7 (2020 年 11 月) を対象にし, コーパス の更新状況と傾向について分析する．次に UD の それぞれのバージョンのコーパスで訓練した構文解析器 UDPipe [5] を用いて言及単位の評価表現抽出 $[6,7,8]$ を行う. アノテーションの言語をまた がった一貫性がどの程度活用できているか，また コーパスの更新が良い方向に作用しているかどうか を調査することが目的である.

## 2 UD コーパスの更新

UD コーパスの内容の例を表 1 に示す. 本来 10 項目からなるアノテーションのうち評価表現抽出の 際に用いる項目のみを抜き出している。その中から ID を除く6 項目について, 表 2 に示す 23 言語の UD コーパスにおける更新とその影響を分析する.

コーパスの更新の割合を項目別，バージョン別に 分けて図 1 に示す. 比較する 2 つのバージョンの両方に存在する文を抽出し，重複を削除した後，語の 各項目に違いがあった割合を色の濃さで表してい る. UD2.0-2.4 ${ }^{1)}$ ではほぼ全ての言語で活発に更新

1）以降，UD ver 2.x をUD2.x と示す.表 1 UD コーパス (英語) の例. feats の出力は一部省略.

され，品詞タグや依存関係ラベルの変更が多い。そ れに対し UD2.4-2.6ではいくつかの言語内でのアノ テーション方針の大幅な変更や，より詳細な属性を 記述する項目である featsの変更が顕著である.

UD のアノテーション方針に沿って言語間での一貫性を保つことと，その言語の特徵を正確に記述 することのバランスは難しいが，それぞれの言語 で改良を重ねられている。コピュラや助動詞に関 するタグ付けを一例としてとりあげると，英語の UD2.5 では “have been”や “will be” の “be” は VERB から AUX へ変更され，オランダ語 (UD2.4)でも “hebben”('have') に対し同様の変更が見られた。ポル トガル語 (UD2.5) では AUX タグをつけられた多く

表 2 分析した treebank と UD2.6 での文数

図1 各言語, バージョンにおける UD コーパスの更新割合。色が濃いほど更新割合が高い.

の単語が VERB に変更され (“continuar” ('continue"), “deixar” ('leave')), フランス語 (UD2.1) でも AUX タ グが “être” ('be'), “avoir” ('have'), “faire” ('do', 'make'), “pouvoir” ('can') のみに限定され, 他の動詞は VERB とタグ付けされた。このように言語間でのタグ付け の一貫性が向上する変化が観察された。

## 3 実験

我々は異なるバージョンの UD コーパスで訓練し た構文解析器で評価表現抽出 [6] を行い, UDコーパ スの変化が応用タスクに及ぼす影響を分析した。

## 3.1 構文解析器の再学習

UD 準拠の構文解析器として UDPipe 1.2 [5] を用 いた. UD2.0-2.5の構文解析器は UDPipe が配布す る訓練済みモデル ${ }^{2)}$ を用い, 配布モデルが存在しな いUD2.6, UD2. 7 は UD2.5 と同じパラメータを用い て訓練した。簡体字中国語のコーパス UD2.0, UD2.2 は存在しないため評価から外した。構文解析器の 性能評価として LAS (Labeled Attachment Score)を用 いた.

## 3.2 構文構造に基づく評価表現抽出

評価表現抽出では構文木をトップダウンにたど り，極性辞書と符合させながら好評不評の表現とそ の対象を抽出する．依存関係やラベルを見ることに よって, 否定の表現や対象を抽出するための格を正確に捕捉できる仕組みになっている．詳細は [6] を 参照されたい.

2) http://ufal.mff.cuni.cz/udpipe

## 3.3 評価データと評価指標

評価データは先行研究 [6] と同様に，ホテルや携帯電話の言及単位または文単位の注釈付きレビュー を整形し，好評/不評のラベルが付いた文を各言語合計 500 文程度抽出したものを用いた。

システムの適合率は, 出力した極性が正解の極性 と同一である割合，再現率は正解の極性と同じ極性 を持つ評価表現が検出された割合である．総合的な 評価指標として，適合率を重視した F2 值（式 1 で $\beta=2$ としたもの）を用いる. 一般的な $\mathrm{F} 1$ 值 $(\beta=1)$ を用いると，文法構造を意識せずに好評・不評を含 む単語を抽出するアプローチによる数值が高くなる ものの, 適合率が低く実用性と乘離する。

$
F_{\beta}=\left(1+\beta^{2}\right) \frac{\operatorname{prec} \cdot \operatorname{rec}}{\operatorname{prec}+\beta^{2} \cdot \operatorname{rec}}
$

## 4 結果と考察

本節では多言語の構文解析と評価表現抽出の性能 の関係を定量的, 定性的に評価する。

## 4.1 構文解析の性能と評価表現抽出の関係

図 2 に構文解析 (LAS) と評価表現抽出 (F2) の関係 を示す3）．言語ごとにデータセットの作成元が異な るため言語をまたいだ絶対的な数值の比較は難し いが，データセットの分野が原因で評価表現抽出が 難しい言語 (韓国語など) を除けば，言語間の F2 と LAS には大まかな正の相関が存在する.
 ず，辞書との符号ができないため評価には含まない

図 2 UDのバージョンごとのLAS と F2 值

一つの言語内でも LASやF2 值には変化が見ら れ，その変化は辞書などの評価表現抽出の仕組みで はなく, 構文解析器の変更によってのみ発生する. F2 值が 40.0 以上で, UD2.0 と UD2.6 の F2 值に 1.0 以上の差がある言語を比較すると, 9 言語中 7 言語 で UD2.6 のほうがUD2.0よりも F2 值が高い4).つ まりUDコーパスの更新に伴い, 応用タスクの性能 も徐々に向上しているといえる。コーパスの更新に 伴う出力の変化については次に述べる.

## 4.2 UD 更新に伴う変化の観察

ここでは UD のバージョンの変化によって評価表現抽出の結果が変わった例について紹介する。まず 例として挙げる構文解析と評価表現の表記について 説明する。

4）日本語 UD2.6では語の単位が変更されたため F2 值が低い (n12.4) はオランダ語の UD2.4 で訓練した UDPipe に 文を入力し，評価表現を抽出した結果である。ハイ ライトのうち青が好評表現，赤は不評表現を表し，下線は好評/不評表現の対象を表す.オレンジは極性を反転させる否定表現である.

(n12.4) では, 否定の副詞 “niet”'('not') が 評価表現 “groot”('large') に直接係っておらず文全体として極性誤りが生じているが，(n12.5) で は "groot”と “niet”の依存構造が正しいため,否定による極性の反転を検出できている. (fr2.2)

Le maître d' hôtel méprisant et grossier.

DET NOUN ADP NOUN ADJ CCONJ ADJ PUNCT

(fr2.4)

Le maître d' hôtel méprisant et grossier. DET NOUN ADP NOUN ADJ CCONJ ADJ PUNCT

フランス語では UD2.4 で多数の依存関係ラベル や PoS タグが更新され, 構文解析の性能が向上し ている.(fr2.4)の名詞句では, 形容詞 “méprisant” ('contemptuous') が head $の$ 名詞 "maître" ('master') に かかっているため, 不評表現が正しく検出された。

(pt2.5)

(det

A escrita é fácil, fluente e recheada de gírias DET NOUN AUX ADJ PUNCT ADJ CCONJ VERB ADP NOUN

A escrita é fácil, fluente e recheada de gírias DET NOUN AUX ADJ PUNCT ADJ CCONJ VERB ADP NOUN 評価表現抽出では並列構造を示す conj ラベル が重要な働きをする。例えば，(pt2.5), (pt2.6) では いずれも root は “fácil” ('easy')だが，(pt2.6)では “fluente" ('fluent') に conj のラベルが付いているた め, “fluente”も極性表現として正しく抽出されてい る.

(en2.4)

(en2.5)

実際のレビューの中には文体が崩れた文も出現す

る. 英語を例にとると， (en2.5)では，通常大文字で 書かれない “HIGHLY RECOMMEND”を PROPN タ

グと誤判定する例が存在した。UDで訓練した構文解析器を応用タスクで用いる際には，このような入力に対しても頑健であることが望ましい.

同様の問題はドイツ語でも発生している.ドイツ 語では名詞の最初の文字は大文字で記述するが，下 の例のように名詞 “Schneiden” ('sharpness') が小文字 になっていた場合, 構文構造上名詞の可能性しか存在しないにもかかわらず，同じ綴りを持つ動詞の不定形と認識される. つまり, 英語やドイツ語での品詞判定には大文字であるかどうかが少なからず影響 していることがわかる.

$
\text { dep }
$

$
\begin{aligned}
& \text { Opravdu vynikající . } \\
& \text { ADV ADJ PUNCT } \\
& \text { advmod }
\end{aligned}
$

$
\text { (cs2.6) Opravdu vynikající . }
$

特定できない依存関係を指す dep ラベルを減らす こともUDコーパスの課題の一つである. チェコ語 では dep ラベルの比率が他の言語のコーパスよりも 大きいため, 解析結果に頻繁に出現する。(cs2.6)の 出力では正しく advmod のラベルがつけられ, 好評表現が抽出できている.

(ja2.5)

(ja2.6)

また，単語分割の方針変更は応用タスクに大きな 影響を及ぼす。日本語では UD2.6の単語単位が国語研短単位になったことにより, UD2.5 までは不評表現として 1 つのトークンとして検出されていた“不自由”が，(ja2.6)では “不” + “自由”として検出さ れ，極性が反転している．アノテーション方針の変化に合わせて否定の “不” などの処理をシステムに 追加することが正しく極性を検出するために必要で ある。

(zh2.4)

簡体字中国語はリリース時期が今回分析した言語の中では比較的遅く, UD2.5 から正式にリリース された。そのため, UD2.4 の公開時にプレリリース され dev ブランチに存在した簡体字コーパスとの比較を行なった。(zh2.4) で存在した “相当” (“very’)の $\mathrm{PoS}$ タグの出力誤りが (zh2.5) で改善され，極性が正 しく抽出されるようになった。簡体字中国語は LAS が低い言語のうちの一つであり, 今後の改善が期待 される.

## 5 結論

本論文では UD2.0-2.7 での更新を, 構文解析器の 出力の変化が応用タスクに及ぼす影響という観点か ら分析した。 23 言語のUDコーパスは継続的に更新 されており，評価表現抽出の結果はそれぞれのバー ジョンによって異なることが分かった。言語ごとの 出力例から, 品詞タグ付けや依存関係ラベルの中で も否定や conj ラベルが評価表現抽出に影響を与え ることを示した．スタイルが崩れた文に対する頑健性に関わる問題も見られた。UDの各言語の代表的 なコーパス間でドメインが異なり，今回対象とした レビュー文によくみられる，名詞句やスペルミス，大文字小文字や文末のピリオドが無い入力に頑健で ない場合が存在した [9].

UD2. 4 以降はいくつかの言語で更新頻度が低下し ているが，まだ基本的な構文構造の出力において改善すべき点は多い. UD の継続的な更新への期待と， その他の応用タスクでの UD 準拠の構文解析器の性能評価を今後の展望とする.

## 参考文献

[1] Pratik Joshi, Sebastin Santy, Amar Budhiraja, Kalika Bali, and Monojit Choudhury. The State and Fate of Linguistic Diversity and Inclusion in the NLP World. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 62826293, 2020.

[2] Joakim Nivre and Chiao-Ting Fang. Universal dependency evaluation. In Proceedings of the NoDaLiDa 2017 Workshop on Universal Dependencies, pp. 8695, 2017.

[3] Daniel Zeman, et al. Universal Dependencies 2.6, 2020. LINDAT/CLARIAH-CZ digital library at the Institute of Formal and Applied Linguistics (ÚFAL), Faculty of Mathematics and Physics, Charles University.

[4] Daniel Zeman, et al. CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies. In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 1-19, 2017.

[5] Milan Straka and Jana Straková. Tokenizing, POS tagging, lemmatizing and parsing UD 2.0 with UDPipe. In Proceedings of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, pp. 88-99, 2017.

[6] Hiroshi Kanayama and Ran Iwamoto. How Universal are Universal Dependencies? Exploiting Syntax for Multilingual Clause-level Sentiment Detection. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 4063-4073, 2020.

[7] 岩本蘭, 金山博. 多言語極性辞書の構築とその 包括的評価. 言語処理学会第 26 回年次大会予稿集, 2020.

[8] 金山博, 岩本蘭. 多言語評価表現抽出を通じた universal dependencies $の$ 検証. 言語処理学会第 26 回年次大会予稿集, 2020.

[9] 金山博, 岩本蘭, 村岡雅康, 大湖卓也, 宮本晃太郎. 名詞句の処理に頑健な構文解析器. 言語処理学会第 27 回年次大会予稿集, 2021.

## A 付録

## A. 1 評価データ

表 3 に評価表現抽出で使用した評価データの情報を示す. 言及単位のアノテーションが付いた多言語の評価データが少ないため, 言及単位と文単位の データをそれぞれ整形して用いた。

## A. 2 構文解析と評価表現抽出

表 4 に言語, バージョンごとの LAS と F2 値を示 す.これは図 2 を表にし, さらに適合率 (prec) と再現率 (rec) の情報を加えたデータである.

表 3 評価データの情報.

表 4 UD のバージョンごとの構文解析 (LAS) と評価表現抽出 (F2) の性能評価.

 & $78.8^{45.3} 16.8$ & 78.4 & $81.0^{47.6} 18.0$ & 78.4 & $81.0^{47.6} 18.0$ & 77.7 & $81.4^{47.2} 17.6$ & 77.4 & $79.5^{47.5} 18.2$ \\


# 通時的な単語の意味変化を捉える単語分散表現の同時学習

相田太一 ${ }^{1}$ 小町守 1 小木曽智信 ${ }^{2}$ 高村大也 ${ }^{3}$ 持橋大地 ${ }^{4}$
東京都立大学 1 国立国語研究所 2 産総研/東京工業大学 3 統計数理研究所 4
aida-taichi@ed.tmu.ac.jp komachi@tmu.ac.jp togiso@ninjal.ac.jp
takamura.hiroya@aist.go.jp daichi@ism.ac.jp

## 1 はじめに

言語は時代とともに変化するものであり、現代社会においても、日々新しい単語が生まれている。既存の単語についても、ある単語が時間の経過ととも に、全く異なる意味で使われる場合も少なくない。例えば、“gay”という単語は元々「陽気な」という意味で用いられていたが、近年では「同性愛」という 意味が主に使われるようになった。このような通時的な単語の意味の変化を捉えることができれば、昔 の時代の文書への分野適応や、辞書学での単語の意味変化に関する記述への利用などが期待できる。

近年では、通時的に学習した単語分散表現を用い て単語の意味変化を検出する手法が数多く提案され ている。Kulkarni ら [1] や Hamilton ら [2] は任意の時期毎に学習した単語分散表現に対して、線形変換に よって対応付けを行う手法を提案した。また、Yao ら [3] によって各時期の単語分散表現を同時に獲得 する手法が提案された。これまでの手法は文脈を考慮していない単語べクトルを用いているため、単語 の用法毎の変化を調査できなかったが、BERT [4] な どの事前学習済み言語モデルによって文脈を考慮し た単語べクトルを生成できるようになった。最近で は英語や日本語などの代表的な言語で事前訓練済み のモデルが公開されたこともあり、BERTを用いた 研究も行われている $[5,6,7]$ 。

しかし、こうした単語の意味変化を通時的に分析 するための手法には、以下のような問題がある。

・単語ベクトル間の関係を線形モデルで表せると いう強い仮定をおいている $[1,2]$

・ハイパーパラメータの設定に敏感である [3]

・公開されているモデルの言語に依存する $[5,6,7]$
- 手法間での定量的な比較が行われている研究が 少ない

こうした問題に対し、線形モデルで表現可能とい

$\mathbf{M}_{A}, \mathbf{M}_{B} \in \mathbb{R}^{V_{W} \times V_{C}}$

$\mathbf{W}_{A}, \mathbf{W}_{B} \in \mathbb{R}^{V_{W} \times d}$図 1: Word2vec と SVD の等価性を利用した時期ごとの単語ベクトルの獲得 PMI-SVD joint の様子.

う仮定やハイパーパラメータに敏感であるという問題を解決するため、我々は Levy ら [8] により示され た Word2vec と特異値分解の等価性を用い、図 1 の ように通時的な単語分散表現を同時に獲得する手法 を提案し、日本語の文書データに対して戦前と戦後 における単語の意味変化を網羅的に分析した [9]。

本研究ではこの手法を拡張し、また実際に意味が 変化した単語のリストを用いることで定量的な評価 を行い、提案手法と先行研究の手法を比較する。(1)定量的な評価を行った結果、提案手法は既存の手法 と同等以上の性能を獲得した。また、(2) 実際に意味の変化した単語に対して定性的な評価を行った結果、事前訓練済みの BERT よりも効果的に意味変化 を捉えていることを示した。

## 2 関連研究

Hamilton ら [2] は、学習した各時期の単語分散表現 $\mathbf{W}_{t}, \mathbf{W}_{t+1}$ を回転行列 $\mathbf{R}$ で対応付ける手法を提案 した。

$
\mathbf{R}(t)=\underset{\mathbf{R}: \mathbf{R R}^{\top}=1}{\operatorname{argmin}}\left.\|\mathbf{W}_{t} \mathbf{R}-\mathbf{W}_{t+1}\right.\|_{F}^{2}
$

ここで、 $\|\cdot\|_{F}$ はフロベニウスノルムである。

また、Yao ら [3] は各時期で獲得した Positive PMI (PPMI) 行列に対して、以下の目的関数を最小化する ことで、各時期の単語分散表現 $\mathbf{W}_{t}$ および文脈語の
分散表現 $\mathbf{C}_{t}$ を同時に獲得する手法を提案した。

$
\begin{array}{r}
\frac{1}{2} \sum_{t=1}^{T}\left.\|\mathbf{M}_{t}-\mathbf{W}_{t} \mathbf{C}_{t}\right.\|_{F}^{2}+\frac{\gamma}{2} \sum_{t=1}^{T}\left.\|\mathbf{W}_{t}-\mathbf{C}_{t}^{\top}\right.\|_{F}^{2} \\
+\frac{\lambda}{2} \sum_{t=1}^{T}\left.\|\mathbf{W}_{t}\right.\|_{F}^{2}+\frac{\tau}{2} \sum_{t=1}^{T-1}\left.\|\mathbf{W}_{t+1}-\mathbf{W}_{t}\right.\|_{F}^{2} \\
+\frac{\lambda}{2} \sum_{t=1}^{T}\left.\|\mathbf{C}_{t}\right.\|_{F}^{2}+\frac{\tau}{2} \sum_{t=1}^{T-1}\left.\|\mathbf{C}_{t+1}-\mathbf{C}_{t}\right.\|_{F}^{2}
\end{array}
$

ここで、 $\gamma, \lambda, \tau$ はハイパーパラメータである。

近年では、文脈を考慮した単語ベクトルを生成で きる事前学習済み言語モデルである BERTを用いた 研究が行われている。単語の語義単位の意味変化を 扱う研究として、単語の語義ごとに辞書の例文から ベクトルを計算するもの [5] や、BERTによって得 られる単語ベクトルを語義単位にクラスタリングす るもの [7] がある。また、単語の代表的な意味の変化を調べる研究として、BERTによって得られるべ クトルを平均することで単語の代表的なべクトルを 獲得するもの[6] がある。本研究では、単語の代表的な意味の変化に着目した比較および分析を行う。

## 3 提案手法

## 3.1 準備：PMI-SVD [8]

まず、基盤となる手法である Levy ら [8] の単語分散表現学習手法について説明する。コーパス全体において、単語 $w$ とその周辺に現れる文脈語 $c$ との共起確率を $p(w, c), w$ と $c$ それぞれの出現確率 を $p(w), p(c)$ としたとき、単語べクトルの学習は、 Shifted Positive PMI (SPPMI)

$
M[w, c]=\max \left(\log \frac{p(w, c)}{p(w) p(c)}-\log k, 0\right)
$

を要素とする $V_{W} \times V_{C}$ の行列 $\mathbf{M}\left(V_{W}\right.$ は対象語の語彙サイズ、 $V_{C}$ は文脈語の語彙サイズを示す）を、 $\mathbf{M} \simeq \mathbf{W C}$ と $d$ 次元に特異値分解したときの $V_{W} \times d$ の行列 $\mathbf{W}$ の各行に等しい [8]。同様に、文脈語べク トルは $d \times V_{C}$ の行列 $\mathbf{C}$ の各列として獲得できる。 $\mathbf{W}$ の列数（および $\mathbf{C}$ の行数） $d$ は単語ベクトルの次元数を示しており、以下本研究では $d=100$ とした。式 (3) の定数 $k$ は Word $2 \mathrm{vec}$ の負例サンプリングにお ける負例数に相当し、以下 $k=1$ とした。

## 3.2 PMI-SVD $_{\text {joint }[9]$}

この方法を拡張すると、時期の違う単語ベクトル を同時に計算することが可能になる。文脈語の分散

$\mathbf{M}_{A}, \mathbf{M}_{B} \in \mathbb{R}^{V_{W} \times V_{C}} \quad \mathbf{W}_{A}, \mathbf{W}_{B} \in \mathbb{R}^{V_{W} \times d}$

図 2: 文脈語の意味変化も考慮する提案手法 PMI-SVD ${ }_{\mathrm{c}}$ の 行列分解の模式図.

表現 $\mathbf{C}$ の各列である文脈ベクトルが変化しないと 仮定すると、時期 A（たとえば明治時代）における $\mathrm{PMI}$ 行列を $\mathbf{M}_{A}$, 時期 B（たとえば平成時代）におけ る PMI 行列を $\mathbf{M}_{B}$ とすれば、 $\mathbf{M}_{A}$ と $\mathbf{M}_{B}$ を縦に結合 した $\mathbf{M}=\left[\mathbf{M}_{A} ; \mathbf{M}_{B}\right]$ も同様に

$
\left[\begin{array}{l}
\mathbf{M}_{A} \\
\mathbf{M}_{B}
\end{array}\right] \simeq\left[\begin{array}{l}
\mathbf{W}_{A} \\
\mathbf{W}_{B}
\end{array}\right][\mathbf{C}]
$

と行列分解することができる（図 1)。このとき $\mathbf{W}_{A}$ および $\mathbf{W}_{B}$ の対応する行が、時期 $\mathrm{A}$ と時期 $\mathrm{B}$ の同じ単語の単語ベクトルとなり、後処理によ 了近似的な対応づけは必要としない [9]。式 (4) の 計算は、 $\mathbf{M}=\mathbf{U} \boldsymbol{\Sigma} \mathbf{V}^{\top}$ と特異値分解を行った後で、 $\mathbf{W}=\mathbf{U} \boldsymbol{\Sigma}^{1 / 2}, \mathbf{C}=\boldsymbol{\Sigma}^{1 / 2} \mathbf{V}^{\top}$ ととることで行える。

## 3.3 PMI-SVD ${ _{\mathrm{c}}$}

上の手法では、時期が経過しても文脈語は意味が 変化しないという仮定を置いていた。この仮定を避 けるために、次に文脈語の意味変化も考慮するモデ ルを提案する。文脈語の意味変化を単純に考慮する のであれば、単語べクトル行列と同じ数の文脈語べ クトル行列を作成すれば良い。しかし、各時期の $\mathrm{PMI}$ 行列 $\mathbf{M}_{t}$ を個別に行列分解するだけでは、時期間での対応が取れない。そこで、通常の行列分解 (式 (4)) の目的関数に、隣接する時期間で文脈語べ クトルが類似しているという制約項を次式で追加 する。

$
\sum_{t=1}^{T}\left.\|\mathbf{M}_{t}-\mathbf{W}_{t} \mathbf{C}_{t}\right.\|_{F}+\tau \sum_{t=1}^{T-1}\left.\|\mathbf{C}_{t+1}-\mathbf{C}_{t}\right.\|_{F}
$

タである。これは Yao ら [3] のモデル（式(2)）と比 べて簡略化されており、ハイパーパラメータの探索 に必要な試行数を大きく減らしつつ、以下のように 実験的にも同等以上の性能を示した。

## 4 実験

擬似的に意味変化を生成したデータおよび、実際 に意味が変化した単語のリストを用いた定量的な評価 [1] により提案手法と既存手法の比較を行った。

## 4.1 データ

日本語と英語のデータを用いて、2つの時期にお ける単語の意味変化について実験を行った。日本語 では、『日本語歴史コーパス』1)の一部として公開さ れている近代雑誌コーパスス2)に「昭和・平成書き言葉コーパス」として構築中の雑誌 (『中央公論』『文藝春秋』)データを追加したものを、戦前 (1895-1944 年）と戦後（1945-1997 年）に分けて用いた。英語 では、Corpus of Historical American English ${ }^{3)}$ (COHA) の 1900 年代と 1990 年代を用いた。

各時期の文書で 100 回以上出現する名詞・動詞・形容詞・副詞を分析対象の単語とした。また、文脈語には分析対象の単語と同じものを用いた。

## 4.2 比較手法

の既存手法を比較した。

回転行列で対応付けを行う（式 (1)）。

PMI-SVD の代わりに Word2Vec skip-gram negative-sampling を訓練する。

-Dynamic Word Embeddings [3]: 式 (2)を最小化 することで各時期の単語分散表現を獲得する。
- BERT [4]: 各時期の各単語を代表するべクト ルは平均によって獲得した [6]。本実験では、 huggingface ${ }^{4)}$ で公開されている事前訓練された BERTを使用した。

## 4.3 評価

最初に、各モデルで語彙中の全ての単語について 2 つの時期間の余弦類似度が低い順にランキングを 行い、リストを作成した。次に、このリストの上位 $k$ 単語と、実際に意味の変化した単語のリストとの 一致率を計算して評価した（Recall@k）。

図 3: 日本語のデータで擬似的に意味の変化する単語を生成し、Recall@kで評価した結果.

表 1: 日本語のデータにおける平均再現率.

## 4.4 擬似的に生成した意味の変化する単語 を用いた比較

まず、簡単な問題として、2つの時期間で意味が 完全に変化する単語を擬似的に生成し [10]、その単語を用いて定量的な比較を行った。擬似的に意味の 変化する単語は、各時期における余弦類似度の絶対值がいずれも 0.01 よりも小さい、なるべく無関係な 単語ペアの集合の中から無作為に 50 ペアを抽出し、後の時期のコーパスの単語（たとえば「虫」）を全 て前の時期の単語（たとえば「中隊」）に置き換える ことで、2つの時期間で完全に意味が変化する単語 を設定した。

日本語のデータにおいて、各手法について上位 1,000 単語までの範囲で Recall@ $\mathrm{k}$ を評価した結果を 図 3 に示す (英語でも同等の結果を確認した)。図 3

## 4.5 実際に意味の変化した単語を用いた 比較

次に、実際に意味が変化した単語を用いて定量的 な比較を行った。日本語では間淵らが作成した単語 リスト [11]を、英語では Kulkarni らが作成した単語 リスト [1]を用いて Recall@kで評価した。日本語の データにおける結果を図 4 に示す。付録 $\mathrm{A}$ に示した ように、英語でも同様の結果となった。図 4 及び表 1 の平均再現率より、提案手法である PMI- SVD $_{\text {joint }}$ は簡単な手法でありながら既存の手法を上回り、事前学習済みの BERT に迫る性能を示した。
表 2: 日本語において意味変化した可能性が高いと予測された上位 10 単語 (1 文字の単語は除く).

図 4: 日本語のデータで実際に意味の変化した単語を用い て Recall@kを評価した結果.

## 5 議論

ここでは、4節で優れた結果を獲得していたBERT

性的な評価 [2]を行った。

まず、日本語について、それぞれのモデルにおい て意味変化した可能性が高いと予測された上位 10 単語を比較した (表 2)。この時、1 文字の単語は除外した。表 2 より、BERT は意味的な変化を捉え、

えていることがわかる。これは、BERT は与えられ た文全体を考慮して単語ベクトルを計算しているの

表 3: 「了解」「要領」という単語と意味の近い各時期の 周辺 5 単語 ( 1 文字の単語は除く).

了解 (理解 $\rightarrow$ 承知)

要領（要点 $\rightarrow$ 処理手段）

ベクトルを獲得しているためだと考える。

次に、実際に意味が変化した単語について、それ ぞれの手法で学習した単語分散表現において対象単語のベクトルに近い 5 単語（1 文字の単語は除く） を比較した。表 3 は「了解」及び「要領」という単

に伴い周辺に「承知」に関する単語が出現し、変化前の「理解」に関する単語と共存する結果になって いるが、BERT は意味が変化する前の戦前に「承知」 に関する周辺単語が出現してしまっている。また、「要領」に関しても同様に、BERT は変化前の戦前か ら「うまく処理する手段」に関する周辺単語が出現 していることがわかる。これは、BERT が時期を意識せずに訓練されており、変化後の単語の語義に強 く影響されてしまったためだと考える。

## 6 おわりに

本研究では、以前の研究で提案した手法と先行研究について定量的・定性的な比較を行った。意味の 変化した単語を用いて定量的な評価を行った結果、提案手法が従来の手法と同等またはそれ以上の結果 を獲得することを示した。また、実際に意味の変化 した単語に対して提案手法と BERT で定性的な比較 を行った結果、提案手法がより効果的に単語の意味変化を捉えていることを示した。

今後は、BERTを分析対象のデータのみで訓練さ せ、対等な条件で性能の比較を行う予定である。ま た、比較する時期を 3 つ以上に増やし、単語の意味変化についてさらに詳細な比較・分析を行いたい。謝辞 本研究は国立国語研究所の共同研究プロジェ クト「現代語の意味の変化に対する計算的・統計力学的アプローチ」、同「通時コーパスの設計と日本語史研究の新展開」および JSPS 科研費 19H00531, 18K11456 の研究成果の一部を報告したものである。

## 参考文献

[1] Vivek Kulkarni, Rami Al-Rfou, Bryan Perozzi, and Steven Skiena. Statistically significant detection of linguistic change. In Proceedings of the 24th International Conference on World Wide Web, WWW'15, p. 625-635, Republic and Canton of Geneva, CHE, 2015. International World Wide Web Conferences Steering Committee.

[2] William L. Hamilton, Jure Leskovec, and Dan Jurafsky. Diachronic word embeddings reveal statistical laws of semantic change. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1489-1501, Berlin, Germany, August 2016. Association for Computational Linguistics.

[3] Zijun Yao, Yifan Sun, Weicong Ding, Nikhil Rao, and Hui Xiong. Dynamic word embeddings for evolving semantic discovery. In Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining, WSDM'18, p. 673-681, New York, NY, USA, 2018. Association for Computing Machinery.

[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5] Renfen Hu, Shen Li, and Shichen Liang. Diachronic sense modeling with deep contextualized word embeddings: An ecological view. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3899-3908, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Matej Martinc, Petra Kralj Novak, and Senja Pollak. Leveraging contextual embeddings for detecting diachronic semantic shift. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 4811-4819, Marseille, France, May 2020. European Language Resources Association.

[7] Mario Giulianelli, Marco Del Tredici, and Raquel Fernández. Analysing lexical semantic change with contextualised word representations. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3960-3973, Online, July 2020. Association for Computational Linguistics.

[8] Omer Levy and Yoav Goldberg. Neural word embedding as implicit matrix factorization. In Z. Ghahramani, M. Welling, C. Cortes, N. D. Lawrence, and K. Q. Weinberger, editors, Advances in Neural Information Processing Systems 27, pp. 2177-2185. Curran Associates, Inc., 2014.

[9] 相田太一, 小町守, 小木曽智信, 高村大也, 坂田綾香,小山慎介, 持橋大地. 単語分散表現の結合学習による 単語の意味の通時的変化の分析. 言語処理学会第 26 回年次大会 発表論文集, 2020 .

[10] Philippa Shoemark, Farhana Ferdousi Liza, Dong Nguyen, Scott Hale, and Barbara McGillivray. Room to Glo: A systematic comparison of semantic change detection approaches with word embeddings. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 66-76, Hong Kong, China, November 2019. Association for Computational Linguistics.

[11] 間淵洋子, 小木曽智信. 近現代日本語の意味変化分析 のための単語データセット構築の試み. 言語処理学会第 27 回年次大会 発表論文集, 2021.

## A 英語の実験結果

まず、英語データにおける結果を以下に示す。

表 4: 英語において意味変化した可能性が高いと予測された上位 10 単語.

図 5: 英語のデータで擬似的に意味の変化する単語を生成

し、Recall@kで評価した結果.

図 6: 英語のデータで実際に意味の変化した単語を用いて 各手法に対して Recall@kで評価した結果.表 5: 英語のデータにおける平均再現率.

表 6: gayという単語について、各時期のベクトルの周辺 10 単語.

表 7: rockという単語について、各時期のベクトルの周辺 10 単語.

 &  &  &  \\

## B日本語の評価に用いた単語リスト

次に、今回 4.5 節で用いた日本語で実際に意味の変化した単語リストを以下に示す。

適当, 故障, 優勝, 非常, 心持ち, 広告, 了解, 結構, 住居, 主婦, 要領, 全然, 風俗, 障害, 婦人, 貴族, 普通, 設備, 教授, 女性, 情報, 普段, 自然, モデル,とても,衣


# コーパス統計量と読解能力値に基づいた単語の既知率の予測

相原理子 ${ }^{1}$ 石川香 ${ }^{1}$ 藤田早苗 ${ }^{2}$ 新井紀子 ${ }^{3}$ 松崎拓也 ${ }^{1}$
${ }^{1}$ 東京理科大学 理学部第一部 応用数学科
${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所， ${ }^{3}$ 教育のための科学研究所
\{1417001, 1417009\}@ed.tus.ac.jp, sanae.fujita.zc@hco.ntt.co.jp, arai@s4e.jp, matuzaki@rs.tus.ac.jp

## 1 はじめに

小学校から大学までどの学習段階においても教科書は最も主要な知識源である。よって児童・生徒・学生が教科書をどの程度理解できるか, あるいは逆 に，教科書がその対象読者に理解可能な形で書かれ ているかを知ることは重要である。一方，読解に関 するこれまでの研究から，あるテキストを理解する ためには，そこに含まれる単語の大部分が既知であ ることが必要だと知られている. そこで, 様々な学年の览童生徒にとって, 教科書中の単語がどれくら い既知であるかを正確に知りたい。

この目的の下, 本研究ではコーパス統計量や児童生徒の読解能力スコアを用いて，各単語の既知率を 正確に予測することを試みた。ここで，ある単語の 既知率とはある集団（例えば同学年の児童）におけ る, その単語を知っている人の割合を意味する. 語彙量に従ってテキストの理解度も向上するという結果は様々な実験から知られており, 例えば、Schmitt ら [1] は, テキストの内容を $60 \%$ 以上理解するため には，テキスト中の単語の約 $98 \%$ を把握している必要があるとしている.

特に教科書中の語彙が, その対象である児童生徒 にとってどの程度まで既知であるかは重要な基礎情報だが，これを調査した例は我々の知る限り存在し ない。その主な理由は，教科書中の単語についての 全数調査はもちろんのこと, 十分な量のサンプリン グ調査でも児童生徒への負担が極めて大きく, 現実的でないことであろう，そこで本研究では，コーパ ス統計量などを用いて, 教科書中の各単語の既知率 を正確に予測することが可能かどうかを調查する.

## 2 関連研究

## 2.1 語裹知識予測問題

語彙知識予測問題とは，ある人がある単語を知っ ているかどうかを予測する問題である．例えば，江原 [2] は単語テストに用いる単語を選ぶ際に, 学習者の能力を正確に把握するのに適した項目を選ぶこ とによって，語彙知識予測の性能を向上させる手法 を提案した。この研究では，項目の難易度を正確に 把握することが重要であるが，単語の難易度は，学習者によって異なるため, 項目反応理論の Rasch モ デルを発展させ，学習者にとっての単語の難易度を 計算するモデルを提案している.

## 2.2 単語親密度による語彙数調査

単語親密度とは語のなじみ深さを 1-7 の值で数値化したものであり, 数值が高いほどなじみのある語 であることを示す. 天野ら [3] は 18～29 歳の評定者, 藤田と小林 [4] は 18 35 歳の評定者からこの数値を得ている. 藤田ら [5] はこの単語親密度を用い て小学生から高校生を対象に語彙量調査を行ってい る.この調查により，学年が上がるにつれて，おお む敖語彙量が増大していること，また単語親密度と 各語を知っている人の割合 (既知率) には強い相関 があることが分かっている.ここで注意すべき点は，学年ごとに単語親密度と既知率の関係は異なること, さらに, 特に小学生では同程度の親密度を持つ語の 間でも既知率に大きな差がある場合があることであ る. よって個人の語彙量の推計ではなく, 具体的な 教科書中の語彙のカバー率（既知の単語の率）を推計する際には，単語親密度以外の情報も併用して 個々の語の既知率を正確に推計することが望まれる。

## 3 背景

## 3.1 現代日本語書き言葉均衡コーパス

現代日本語書き言葉均衡コーパス (BCCWJ) は, 短単位で数えて約 1 億語を含む大規模均衡コーパスであ る. BCCWJ は計 13 のレジスターから構成されてい る. 表 1 にレジスターごとの延べ語数（短単位）を 示す（数値はマニュアル [6] に基づく）.
表 1 各レジスターの語数

## 3.2 教育基本語彙

教育基本語彙 $[7]$ とは学習者に教育する基本的な 言葉であり, 国立国語研究所が 7 種の教育基本語彙 をデータベース化したものである. 本研究では, 教育基本語彙に含まれるかどうかとその単語の既知率 との関係を調べた。

## 3.3 リーディングスキルテスト

リーディングスキルテスト（RST） [8] は主として 教科書から採った 1～2 文からなる短いテキストを 用いた読解能力テストである。これまで中高生を中心に，小学生および成人も含め約 20 万人が受検し ている. RST の問題は以下の 6 タイプからなる：係 り受け解析 (DEP), 照応解決 (ANA), 含意関係の認識 (INF), 定義に適合する具体例の選択 (INST), 画像の理解 (REP), 同義文か否かの判定 (PARA). テス 卜結果に従って, 各受検者に対し問題タイプごとに 項目反応理論に基づく能力值が推定される. 本研究 では受検者がある単語を知っているか否かを能力値 をもとに推測することを試みる。

## 4 調査対象とするデータ

## 4.1 藤田らによる語彙調査結果

藤田ら [5] は, 親密度がおよそ $2.0 \sim 6.5$ の単語 およそ 50 語について, 小学校 6 年生から高校 2 年生までの約 2500 名を対象に, 各単語を知っている か否かを調査した. 本研究ではこのデータを調査対象の一つとした. 以下，これを「データ A」と呼ぶ.

## 4.2 語彙テストと RST 能力值データ

小学 6 年生から中学 3 年生までの約 4300 人を対象に語彙テストを行った. テストした単語は 40 単語で, 各被験者はそのうち 10 単語について, 「知っ

図 1 中学高校教科書における単語親密度の分布

図 2 親密度（令和版）と既知率の関係

ている/たぶん知っている/たぶん知らない/知らな い」のうち 1 つを選んだ上で，語義を問う 4 択のテ ストに答えた.「知っている」または「たぶん知って いる」を選び，かつ 4 択のテストに正解した語を「既知」とみなす. 語彙テストに加え DEP, INF, INST, REP の 4 つの RST 問題タイプに対する各被験者の能力値を測定した. 以下，これを「データB」と呼ぶ.

## 5 分析結果

## 5.1 中学校・高校の教科書テキスト比較

図 1 は, 中学校・高校の理科・社会の教科書中の 単語の親密度の分布である. オレンジのヒストグラ ムが中学校, 青のヒストグラムが高校の教科書にお ける分布を表す。具体的な科目としては，中学校理科は理科 3 年 [9], 中学校社会は公民 [10], 高校理科は物理 [11], 高校社会は現代社会 [12] の教科書 を調査した. 図から, 理科の科目どうし, 社会の科目どうしの親密度の分布は比較的似ていることが分 かる。言い換えれば，類似する科目の教科書であれ ば，中学・高校の教科書中の単語の親密度の分布に は大きな差がない.このことから，もし中学生・高校生の間で使用する教科書中の単語カバー率に差が
表 2 学年ごとの各レジスターの線形回帰係数 と自由度調整済み決定係数

あるとすれば, それは中学教科書が高校教科書に比 べ「易しい」単語を多く含むためではなく，主とし て, 同程度の親密度の単語に対する中学生・高校生 の既知率の違いに起因すると予想される。

## 5.2 教育基本語彙 - 単語親密度と既知率

図 2 はデータ A のうち小学校 6 年生を対象とする 結果について, 教育基本語彙に含まれる単語 (赤点) と含まれない単語（黒点）に分けて, 横軸に単語親密度 (令和版), 縦軸に既知率を取った散布図である。教育基本語彙は教育上重要と考えられている語を集 めているため, 特に低い学年では, 同程度の親密度 の単語でも教育基本語彙に含まれるものの方が既知率が高い可能性がある。しかし, 図 2 から分かるよ うにそのような傾向は見られなかった。

## 5.3 単語出現頻度を用いた既知率の予測

図 3 は BCCWJ の 13 個のレジスターごとに, 含ま れる単語の親密度（平成版）の分布を示す（単語延 べ出現数に対する分布). 各レジスターにおける親密度の分布には多少の違いが見られる。

データ A の各テスト語について BCCWJ の各レジ スターにおける出現頻度を調べ，説明変数を各レジ スターでの相対頻度の対数, 目的変数を小学校 6 年生〜高校 2 年生におけるその単語の既知率として,学年ごとに線形回帰を行った. ただし, 頻度が 0 と なるレジスターに対する説明変数の値は, その他の レジスターでの相対頻度の平均値の対数とした。

図 4 読解能力値の違いによる既知率の差

表 2 に，各レジスターに対応する回帰係数及び自由度調整済み決定係数 $\left(R^{2}\right)$ を学年ごとに示す. 表中 で，係数が非ゼロであることが $5 \%$ 有意であるものに は†，10\%有意であるものには†を付した. 非ゼロで あることが有意となる係数がごく少数であり, $R^{2}$ の 值も低いことからモデルのあてはまりは良くない. また，予測値が実測値を上回る単語，下回る単語が 全ての学年でほぼ共通していた.このことからモデ ルの線形性の仮定が妥当でない可能性がある.

また，表 2 の最終行に BCCWJ 全体における相対頻度の対数を説明変数とする場合 (すなわち単回帰の 場合)の自由度調整済み $R^{2}$ を示す.表の最後の 2 行の 比較から, 低い学年ではレジスターを分けた方が回帰の当てはまりが良く，高い学年ではレジスターを 分けない方が良いことが分かる.

## 5.4 読解能力値を用いた既知語予測

各览童生徒の読解能力値を入力値とすることで, ある単語がその坚童生徒にとって既知であるかどう かを予測したい. これが高い精度で可能ならば, 個々 の览童生徒にとっての教科書テキストの単語カバー 率が推計できる。そこで，まず読解能力値と語彙テ スト結果の関係について確認しておく.

図 4 はデータ B について 4 つの能力値ごとに縦軸 に能力値が高い上位 $1 / 4$ の受検者における各テスト 語の既知率, 横軸に能力值が低い下位 $1 / 4$ の受検者 における既知率をとった散布図である。図 4 から，

図 3 BCCWJ のレジスターごとの分布

## 図 5 既知率と既知語予測の平均精度

どの能力値, どのテスト語についても能力値上位 $1 / 4$群における既知率が下位 $1 / 4$ 群におけるそれを上回 っており, 読解能力値と語彙量には関係があること が分かる.

次に, 説明変数を受検者の 4 つの RST 能力値, 目的変数を各受検者にとってテスト語が既知であった (1) か否か $(0)$ として, 個々の単語ごとにロジスティ ック回帰を行った. 受検者を 10 分割した交差検証 を行ったときの平均精度を図 5 に示す. 赤い直線は $y=x, y=1-x$ のグラフで, 全て既知, あるいは 全て未知と予測した場合のベースライン精度を表す。赤線との比較から，既知率 $50 \%$ 付近の単語について は予測精度がベースラインを上回るが，それ以外の 単語についてはベースラインと同等の精度でしか予測できていないことが分かる. すなわち, 4 つの RST 能力値を総合しても, 個々の受検者にとって単語が 既知かどうかを予測することは難しいことが分かる。

さらに, 受検者の 4 つの RST 能力値を説明変数,各受検者にとってテスト語が既知であったか否かを 目的変数とする上記のロジスティック回帰モデルに，説明変数として単語固有のパラメータ (項目反応理 における困難度に相当する)を加えたもの（モデル 1)表 3 困難度あるいは親密度を加えた回帰の結果

} & \multicolumn{4}{|c|}{ RST 能力值 } & \multirow{2}{*}{} & \multirow{2}{*}{} \\

と，単語親密度を加えたもの（モデル 2) について，全テスト語に対するデータをまとめて訓練データと し10 分割交差検証を行った. 結果を表 3 に示す. 単語親密度を説明変数として加えたモデル 2 の平均精度は 0.64 であり, 個々の単語の既知率の推定に用 いるには不十分であることが分かった。

## 5 おわりに

教育基本語彙, BCCWJ での単語出現頻度, および RST 能力値を用いて，ある集団内での単語の既知率 の予測および各受検者にとって単語が既知か否かの 予測を試みた、いずれの予測も難しく，受検者ごと に単語が既知か否かを予測する精度が $70 \%$ を超える ことはなかった．予測精度を上げるためには，受検者に関しさらに情報を加える必要があると考えられ る。例えば，受検者の読書傾向や読書量，また家庭環境などの情報は有用であろう。しかし, 全児童生徒にとっての教科書の単語カバー率を推定するとい う当初目的を考えると，そのような情報を全児童生徒について調查できるかという問題がある.

## 謝辞

教科書データを提供いただいた東京書籍株式会社 に感謝します.本研究の一部は JST, さきがけ, JPMJPR175Aの支援を受けたものである.

## 参考文献

[1] Norbers Schmitt, Xiangying Jiang, and Willian Grabe. The Percentage of Words Known in a Text and Reading Comprehension. Modern Language Journal, 95(1), pp.26-43, 2011.

[2] Yo Ehara, Issei Sato, Hidekazu Oiwa, and Hiroshi Nakagawa. Mining words in the minds of second language learners: learner-specific word difficulty. In Proceedings of COLING, 2012.

[3] 天野成昭, 近藤公久. 日本語の語彙特性. 三省堂, 1999 .

[4] 藤田早苗, 小林哲生. 単語親密度の再調査と過去 のデータとの比較. 言語処理学会第 26 回年次大会, 2020.

[5] 藤田早苗, 小林哲生, 山田武士, 菅原真悟, 新井庭子，新井紀子. 小・中・高校生の語彙調査および単語親密度との関係分析. 言語処理学会第 26 回年次大会, 2020.

[6] 国立国語研究所. 『現代日本語書き言葉均衡コ ーパス』利用の手引. 2015.

[7] 国立国語研究所. 教育基本語彙の基本的研究 : 増補改訂版. 明治書院, 2009 .

[8] Noriko H. Arai, Naoya Todo, Teiko Arai, Kyosuke Bunji, Shingo Sugawara, Miwa Inuzuka, Takuya Matsuzaki, and Koken Ozaki. Reading Skill Test to Diagnose Basic Language Skills in Comparison to Machines. In Proceedings of the 39th Annual Cognitive Science Society Meeting, pp. 1556-1561, 2017.

[9] 岡村定矩ほか. 新編 新しい科学 3 . 東京書籍, 2016.

[10］坂上康俊ほか. 新編 新しい社会 公民. 東京書籍, 2016 .

[11］三浦登ほか. 改訂 新編物理基礎. 東京書籍, 2017.

［12］間宮陽介ほか．現代社会．東京書籍，2017.


# 執筆・翻訳のための制限語彙の構築とその自動化の検討

杉野峰大宮田玲少川浩平佐藤理史
名古屋大学大学院工学研究科
sugino.hodai@c.mbox.nagoya-u.ac.jp

## 1 はじめに

工業製品のマニュアルなど産業文書は、大規模に なることが多い上、製品のリリースに合わせて短期間で完成させることが求められる。また、制作・多言語展開のプロセスには複数の編集会社・翻訳会社 が携わり、表現の一貫性を保つことが難しいという 問題もある。このような課題を解決するための枠組 みとして制限言語がある。制限言語により、構文や 語彙を制限し、曖昧な表現を防ぐことで、テキスト の一貫性や翻訳可能性の向上が期待できる $[1,2]$ 。 ここで肝心なことは、執筆者・編集者・翻訳者が各作業プロセスにおいて共通に参照できるルールや辞書を事前に整備し、その利用を技術的に支援するこ とである。

制限語彙は、制限言語の重要な要素の 1 つであ り、特定のドメイン向けに設計された使用可能な語 のリストのことである $[1,3]$ 。予め、使用できる語 を規定しておくことによって、執筆者間の語彙使用のばらつきを抑制し、文書全体を通した表現の 一貫性を向上させることができる。これまで、主 に産業文書の執筆のために各種の制限語彙が構築 されてきたが $[4,5]$ 、一般に公開されているものは 多くない。公開されている制限語彙の 1 つに ASD Simplified Technical English (ASD-STE 100) [6] があ る。これは、もともと航空宇宙分野の整備マニュア ル用に開発されたもので、現在では産業界で広く使用されている。8つの品詞 (動詞、名詞、形容詞、副詞、冠詞、前置詞、接続詞、代名詞）を対象に、承認語 (approved word) と非承認語 (unapproved word) の リストが提供されている。

我々は、ASD-STE 100 をモデル例と捉え、自動車 の修理書を対象とした日英対訳の制限語彙の構築に 取り組んでいる。ASD-STE 100 は有用な枠組みでは あるが、他の目的、ドメイン、言語に直接移植する ことは容易ではない。また、どの単語を使うべきか については規定されているが、それらをどのように使うかに関する指針は必ずしも十分ではなく、執筆 や翻訳に役立てるには改良の余地がある。さらに、単言語（英語）での提供であるため、多言語に制作 される文書に対しては効果が限定的といえる。

そこで、本稿では、ASD-STE 100 の枠組みを拡張 し、動詞を対象とした執筆・翻訳のための日英対訳 の制限語彙の形式を提案し、人手構築の現状を報告 する (2 節)。提案する制限語彙は、執筆支援や翻訳支援・機械翻訳への応用が考えられる（3 節)。さら に、制限語彙の人手構築で得た知見を踏まえ、構築作業の自動化に取り組んだ結果を報告する（4 節)。

## 2 制限語彙の設計と人手構築

## 2.1 設計

本研究では、執筆や翻訳に特に関わる文の主要な 構成要素であり、なおかつ格などの構文に関する情報を付与できる、動詞を対象とする。

表 1、表 2 に提案する自動車修理書を対象とした 制限語彙の形式を示す。表 1 は承認語、表 2 は非承認語のエントリの例である。この形式は ASD-STE 100 の形式を基に、以下の 3 つの観点から拡張した ものである。

表現文型 各動詞について取りうる格の順序と選択選好（意味カテゴリ） $[7,8]$ の情報を与える。これ らを合わせて動詞の表現文型と呼ぶことにする。日本語では、格順序が比較的自由であり、

1. GTS DLC3 接続する

2. DLC3 GTS を接続する

という 2 文は格の順序が入れ替わっているが、いず れも文法的には正しい。また、これらの違いは必ず しも読者の理解に大きな影響を与えるわけではな い。しかし、一貫性のある文書を作成する観点か ら、格順序を制限し、これらの摇れを取り除くこと は望ましく、テキスト検索の効率や機械翻訳出力の 一貫性の向上にも貢献する。
表 1 承認語のエントリ例

表 2 非承認語のエントリ例

また、選択選好を規定することで、用語集との連携を強化できる。技術文書では、パーツ名などの専門用語の使用頻度が高く、一貫性を保つために用語集で管理することが望ましい。表現文型の格によく 使われる語句の意味カテゴリの情報を付与し、用語集と対応させることで用語集の検索や利用を円滑に する（定義しているカテゴリは付録 $\mathrm{A}$ を参照）。

文書構造/内容要素 我々は、すでに情報の配置 に関するルールとなる修理書の文書構造やそれに対応した内容要素を定めている [9]（一覧は付録 B を 参照)。これらを表現文型を対応させることで、構造と表現が結びつき、表現文型の利用をより円滑な ものにする。

多言語対応 日本語の承認語に対し、多言語の承認語を対応させておくことで翻訳時の辞書として利用でき、目標言語での一貫性を高めることにつなが る。今回は、日本語のエントリを起点に英語の承認語と表現文型を定める。

## 2.2 制限語彙の人手構築

制限語彙構築の基本要件は以下の通りである（構築手順の詳細は、文献 [10]を参照)。

1. 語彙の全集合により当該ドメインのあらゆる内容を表現できる。

2. ある意味内容に対する表現形が 1 つに定まる。

ある意味内容に対する表現形を集めるには、単に 辞書的な類義語を取得するのみでは不十分である。例えば、「使用する」と「着用する」は一見、類義語 ではないが、「この作業では、必ず手袋を使用する こと」と「この作業では、必ず手袋を着用すること」 では、同じ内容を指している。そのため、用例にお ける入れ替え可能性に着目し、その語と入れ替え可能な語があれば、どちらか一方を承認語とする。

現在、トヨタ自動車株式会社から提供を受け た 10 車種 17 タイプの自動車修理書から抽出した $1,053,111$ 文の日本語文（以下、修理書コーパス）を 用いて人手により日本語の制限語彙を構築してい
る。複数の修理書から網羅的に文を抽出しており、当該ドメインを広くカバーしていると考えられる。

自動車修理書で使用される動詞全 852 種類を精査 し、承認語 717 語と非承認語 135 語を規定した。異 なりでは $15.9 \%$ 、延べでは $3.1 \%$ が非承認語であっ た。これは、プロの執筆者、編集者によって作成さ れた文書であっても、さらなる語彙統制の余地があ ることを示唆する。

また、717 の承認語に対して、900 の表現文型を 規定した。全文型により、現時点で修理書コーパス 中の文を延べで $85.2 \%$ カバーしているが、異なりで は $40.3 \%$ のカバレッジにとどまる。これは、数多く 存在する頻度が少ない文型を十分網羅できていない ことを意味する。また、格順序が規定のものと異な るバリエーションは延べで $2.7 \%$ 存在した。

## 3 執筆・翻訳への応用

執筆・翻訳において重要な役割を果たす表現文型 はよく使われる表現である基本形のみが定義され ている。実際に使用する際には、文書構造の位置に よって望ましい形に変形する必要がある。そこで、 そのメカニズムを変形規則として実現した（表現文型の変形規則一覧は付録 B を参照)。以上を踏まえ つつ、具体的な応用について述べる。

## 3.1 執筆支援

文を一から執筆するシナリオでは以下のプロセス からなる執筆支援方法が有効であろう。

1. 書きたい内容に応じた文書構造要素を選ぶ。

2. 文の核となる動詞を入力し、動詞と内容要素に 対応した表現文型を呼び出す。

3. 表現文型のスロットを埋める。

表現文型のスロットを埋める形式で文を書くこと で執筆者間で一貫性を保てる。さらに、文書構造、内容要素、表現文型がトップダウンに対応してお り、文レベルではなく文書レベルでの制限オーサリ ングを支援することが可能になる。
他にも、構築した制限語彙は、既存テキストの診断シナリオにも活用できる。具体的には、非承認語 の使用と、表現文型に違反する格の順序を検出し、 それぞれ正しい表現候補を提案することで執筆者や 編集者を支援できる。

## 3.2 翻訳支援・機械翻訳

$「\{[$ Part $]$ を $\}[$ Part] に $\}$ 交換する」と「replace $\{[$ Part $]$ に \} with $\{[$ Part] を\}」など言語間で表現文型の対応が ある。格要素は対訳用語集として整備しておく。表現文型と用語集は、人手翻訳ではガイドラインとし て使えるだけでなく、的確な変換規則を定めればテ ンプレートベース機械翻訳にも応用できる。

機械翻訳について、あらゆる入力文に対し、表現文型による翻訳を適用できるわけではない。現在、日本語の文型のカバレッジは約 $85 \%$ である。表現文型の数を増やすことで、カバレッジを高めることは 可能であるが、その分適切な管理が難しくなる。そ こで、表現文型でカバーできない表現にはニューラ ル機械翻訳を用いることで、一貫性と柔軟さを兼ね 備えた機械翻訳を実現できると考えている。

## 4 自動構築の検討

制限語彙は有用であるが、人手による構築は時間 や労力がかかる。また、 1000 種類以上の語を対象に 制限語彙の構築を人手で行う中で、見落としも生じ る。完全な自動化は難しいが制限語彙構築の機械的支援が求められる。本節では、承認語、非承認語決定の自動化の検討と実験について報告する。

## 4.1 自動構築手法

2.2 節で述べた制限語彙の構築方針を以下の手続 きとして具体化した。

1. 注目する動詞の類義語を収集する。

2. 注目する動詞の用例を用いて、類義語の入れ替 え可能性を検証する。

3. 入れ替え可能であれば、承認語を 1 つに決定 する。

自動化への課題は、大きく2つある。1つ目は、用例に即した入れ替え可能性をどのように自動で判定するかである。本研究では、BERT [11] ${ }^{1}$ を利用す

る。BERT は同じ語であっても文脈により異なる埋 め込み表現を与えるため、用例に対する入れ替え可能性を測ることに利用できると考えた。

2つ目は、何を基準に承認語を決定するかである。基準としては、例えば、使用頻度、平易さ、体系性 が挙げられる。使用頻度、平易さはそれぞれよく使 われる表現、わかり易い表現に統一するという考え から重要であるといえる。また、辞書としての体系性も重要な要素と考えられる。例えば、「送る」、「受信する」が承認語、「送信する」、「受け取る」が 非承認語であるのは不自然であり、承認語と非承認語の決定は対称的になっていることが望ましい。本来はこのような要素を複合的に考慮すべきである が、今回の自動化では人手構築においても特に重視 した使用頻度を基準とする。

本手法の入力は制限語彙を構築したい文書群、出力は、動詞のみを対象とした承認語のリスト及び非承認語と代替承認語のペアのリストの 2 つである。処理の全体像を図 1 に示す。この処理は対象コーパ ス中における頻度上位の語から順に行う。以下、各 モジュールの詳細を述べる。

(1) 置換候補抽出 対象動詞の代替承認語の候補 として対象コーパス中で対象動詞より出現頻度が多 い動詞から以下のどちらかを満たすものを選ぶ。
- WordNet ${ }^{2}$ における類義語
- $\operatorname{word2\mathrm {vec}^{3})}$ で対象動詞との $\cos$ 類似度が閾値 $\alpha$以上で上位 30 件以内かつ WordNet における対義語でない語

(2) 用例サンプリング 対象動詞を含むコーパス 中の全用例を検証するのは実行時間の点から現実的ではないため、用例のサンプリングを行う。動詞 は複数の用法で使用されることもあり、それらを広 く含むようサンプリングする必要がある。本研究で は、BERT のベクトルを利用した用例のクラスタリ ング [12]を利用する。なお、クラスタ数は未知で あるため、上限クラスタ数を 5 とし、x-means 法に よってクラスタリングを行う。得られたクラスタの 重心に最も近い用例を取得することによって、多様 な用法を含むサンプリングを実現する。

(3) 入れ替え可否判定 Panzer [13]、HaoriBricks3 [14]を利用して、(2)で得た用例 (原文) の動詞を (1) で得た置換候補に置き換えた文（置換文）を生成

2) http://compling.hss.ntu.edu.sg/wnja/

3） Wikipedia で学習したモデルを対象コーパスで追加学習し た。

図 1 制限語彙の自動構築の流れ（動詞「取り替える」と承認語「交換する」が入れ替え可能か判定する例を示す。）

表 3 自動で取得した非承認語と代替承認語のペアに対す る評価結果

する。なお、英語では、同様の処理に pattern [15] を 用いた。次に、入れ替え可否判定のために、BERT ベースの平易化手法 [16] を参考に原文と置換文の動詞部分を [MASK] トークンで置き換えた文を結合し て BERT に入力する。

[MASK] に置換文の動詞が出現する尤度を $p$ 、 [MASK] に原文の動詞が出現する尤度 $p^{\prime}$ として、入 れ替え可能性スコアは以下のように定義する4)。 Score $= \begin{cases}p & (\text { 動詞部分の token 数が異なる場合 }) \\ \frac{p}{1-p^{\prime}} & (\text { 動詞部分の token 数が同じ場合 })\end{cases}$ スコアが候補中で最大かつ閾値 $\beta$ 以上であれば、用例において動詞の入れ替えが可能と判定する。

(2)で得た全ての用例のについて入れ替え可能な 語があれば、それらを代替承認語とし、対象動詞を 非承認語とする。

## 4.2 検証

自動車分野の修理書コーパズ5)を用いて、日本語 と英語で制限語彙の自動構築を行った。

今回は、閾値 $\alpha, \beta$ はともに 0.2 と設定した。自動 で同定した非承認語と代替承認語のペアに対する 評価結果を表 3 に示す。日本語において、人手構築結果（2.2 節）との一致度は $14.1 \%$ と低いが、精度 は $63.6 \%$ と人手構築の判断材料として使える水準で あった。制限語彙の作り方は 1 通りには定まらず、

4） BERT に同じ長さの文を結合した 2 文を入力した場合、 2 文目の [MASK] に対して、1 文目と同じ token を予測する働きが 強まるため、入れ替え可能な他の表現の出現尤度が低くなる。 この BERT の挙動の影響を補正するため、場合分けを行う。

5）日本語は 2.2 節と同じ $1,053,111$ 文、英語は 10 車種 15 タイ プの自動車修理書から抽出した $1,202,738$ 文を利用した。必ずしも人手で構築したものが最良とは言えないこ とを示唆する。特に、人手では承認語としていた動詞の内、自動構築によって新たに 41 件に対し妥当 な代替承認語を獲得することができた。人手と自動構築の違いとして、人手の方が漢語から和語への言 い換えを好む傾向が見られた。また、英語において も、 $68.9 \%$ と日本語と同程度の精度が確認できた。

エラーとして、対義語が代替承認語と判定さ れている事例が複数存在した。原因は、BERT や word2vec が分布仮説の考え方に従っており、同義語 と対義語を十分区別できないためと考えられる。今回は候補抽出の段階で WordNet で獲得できる対義語 は除外したが、それでも多くの対義語が代替承認語 として出力されている。解決策としては、対義語辞書の拡充など対義語判定手法の改良が考えられる。

## 5 おわりに

本稿では、執筆・翻訳作業において制限語彙を有効に活用するために、ASD-STE 100 の枠組みを拡張 し、新たな制限語彙の形式を提案した。本制限語彙 は、執筆・翻訳作業の支援システムへの様々な応用 が可能である。さらに、制限語彙の構築作業の自動化に取り組み、人手作業の支援に利用できる一定の 精度が得られることを確認した。対義語への対処は 今後の課題である。

今後は、表現文型を起点として、執筆・翻訳支援 の枠組みを発展させる。具体的には、(1) 副詞句など の修飾要素の種類と文中での順序を整理すること、 (2) 複文の構成に関して節間接続表現の列挙と規則 を定めることに取り組む。また、これらの要素を執筆や翻訳に活用するためのシステムの開発を行う。

謝辞 研究データの自動車修理書はトヨタ自動車株式会社からご提供いただいた。本研究の一部は科研費（19H05660,19K20628）の支援を受けた。

## 参考文献

[1] Eric Nyberg, Teruko Mitamura, and Willem-Olaf Huijsen. Controlled language for authoring and translation. In Harold Somers, editor, Computers and Translation: A Translator's Guide, pp. 245-281. John Benjamins, Amsterdam, 2003.

[2] Tobias Kuhn. A survey and classification of controlled natural languages. Computational Linguistics, Vol. 40, No. 1, pp. 121-170, 2014.

[3] Kara Warburton. Developing lexical resources for controlled authoring purposes. In Proceedings of LREC 2014 Workshop: Controlled Natural Language Simplifying Language Use, pp. 90-103, 2014.

[4] Linda Means and Kurt Godden. The Controlled Automotive Service Language (CASL) project. In Proceedings of the 1 st International Workshop on Controlled Language Applications, pp. 106-114, 1996.

[5] Kurt Godden. The evolution of CASL controlled authoring at General Motors. In Proceedings of the 3rd International Workshop on Controlled Language Applications, pp. 14-19, 2000 .

[6] ASD Simplified Technical English. Specification ASDSTE100, Issue 7., （2020-12 閲 覧）. http://www. asd-ste100.org.

[7] Philip Resnik. Selectional preference and sense disambiguation. In Proceedings of ACL SIGLEX Workshop on Tagging Text with Lexical Semantics: Why, What, and How?, pp. 52-57, 1997.

[8] Yorick Wilks. An intelligent analyzer and understander of English. Communications of the ACM, Vol. 18, No. 5, pp. 264-274, 1975.

[9] Hodai Sugino, Rei Miyata, and Satoshi Sato. Formalising document structure and automatically recognising document elements: A case study on automobile repair manuals. In Adam Jatowt, Akira Maeda, and Sue Yeon Syn, editors, Digital Libraries at the Crossroads of Digital Information for the Future. ICADL 2019. Lecture Notes in Computer Science, pp. 249-262. Springer, Cham, 2019.

[10] Rei Miyata and Hodai Sugino. Building a controlled lexicon for authoring automotive technical documents. In Proceedings of XIX EURALEX Congress: Lexicography for Inclusion, pp. 171-180, 2020.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[12] 馬ブン, 田中裕隆, 曹鋭, 白静, 新納浩幸. Bert を利用し た単語用例のクラスタリング. 言語資源活用ワーク ショップ発表論文集, 2019.

[13] 佐野正裕, 佐藤理史, 宮田玲. 文末述語における機能表現検出と文間接続関係推定への応用. 言語処理学会第 26 回年次大会発表論文集, pp. 1483-1486, 2020.

[14] 佐藤理史. HaoriBricks3: 日本語文を合成するための ドメイン特化言語. 自然言語処理, Vol. 27, No. 2, pp. 411-444, 2020.

[15] Tom De Smedt and Walter Daelemans. Pattern for Python. The Journal of Machine Learning Research, Vol. 13, No. 1, pp. 2063-2067, 2012.
[16] Jipeng Qiang, Yun Li, Zhu Yi, Yunhao Yuan, and Xindong Wu. Lexical simplification with pretrained encoders. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 8649-8656, 2020.

## A 格要素の意味カテゴリ一覧

## B文書構造、内容要素、表現文型変形規則の対応一覧

内容要素は、文末動詞を含む要素のみを記載している（全要素は文献 [9]を参照のこと）。また、表現文型 は、内容要素のうち、操作、判断、推測、行為、機能、状態、物理、禁止事項のいずれかと対応付けられてい る (2 節参照)。


# 翻訳の主観評価で用いられる表現

西野 竜太郎
グローバリゼーションデザイン研究所
nishino@globalization.co.jp
}

藤田 篤

情報通信研究機構

atsushi.fujita@nict.go.jp

新田順也
エヌ・アイ・ティー
nittaQn-i-t.jp
山本 真佑花
関西大学
}

大西菜奈美

関西大学

山田 優
関西大学
yamada@apple-eye.com

## 1 はじめに

翻訳と翻訳業界が扱う「品質」という言葉とその 定義は常に曖昧さを含んでいたが、近年、これを整理する動きが活発化している。2014 年以降、欧州で は QTLaunchPadにより翻訳品質評価の共通枠組み が策定されてきた。また Fields ら [1] は、Garvin [2] の産業品質の基本概念を参照し、翻訳品質を評価す るアプローチを次の 5 つに分類した。

A.超越的 : 専門家による主観評価

B.ユーザーベース : 最終読者による主観評価

C.プロダクトベース : 客観指標による評価

D.価値ベース：費用を考慮した相対的価値

E.生産ベース：合意した仕様を満たす程度

図 1 は、西野 [3] による 5 分類の関係図である。

図 1 品質評価 5 分類の関係図

ここでは「評価対象の翻訳成果物」が左端に置か れており、それに対して「A. 超越的」、「B. ユーザー ベース」、「C. プロダクトベース」の 3 つから矢印が 伸びている。つまり、翻訳成果物を直接的に評価す る方法はこの 3 つということである。一方で $\mathrm{D}$ と は間接評価になる。

C の下位分類の一つである「エラー評価」は、現在、翻訳業界で活用される客観評価であり、具体例 としては、MQM [4]、国内の JTF 翻訳品質評価ガイ ドライン [5]、翻訳教育用の「みんなの翻訳実習」の 校閲カテゴリ [6] がある。これらは翻訳成果物に含 まれるエラー（文法ミス、用語違反など）に基づく 評価であり、比較的客観性が高く定量評価が可能で あるため、関係者間の合意形成やコミュニケーショ ンの円滑化に寄与する。

B は最終読者やユーザーの視点からの品質評価で ある。具体例としてはアンケート（「この翻訳は分 かりやすいですか？」といった質問）が挙げられ、最終成果物としての翻訳を評価する際に便利であ る。一方で時間等のコストがかかるためか、A や C と比べると頻繁に利用されない。

A は熟練翻訳者などの言語専門家による評価で ある。長年の経験や専門知識に基づく評価であり、実務翻訳の現場ではよく用いられる。しかし「意訳調」や「わかりにくい」といった主観的な表現が用 いられることが多いので、評価者間で結果を共有す ることが困難である。表現の意味が評価者や使用者 によって異なるため、この A で用いられる言葉（主観評価表現）の意味や定義（使用頻度、場面、およ びその言葉に対応する翻訳成果物の現象等）をある 程度明らかにすることができれば、評価者間および 翻訳制作工程における参与者間のコミュニケーショ ンの向上が望めるほか、包括的な翻訳品質評価方法 の確立に寄与する。

そこで筆者らは、主観評価表現に関する調査を翻訳業界の関係者に対して実施し、翻訳業界で【1】ど のような主観評価表現が使われているのか、【2】そ れはどのような意味で用いられているのか（どのよ うな言語現象を指し示すのか)、という 2 点の解明 に取り組んでいる。本論文では【1】に関係する調
査結果の一部を報告する。

## 2 方法

翻訳の主観評価において用いられる表現を調べる ため、まず一般に入手できる翻訳指南書などから主観評価表現に該当すると思われる表現を抽出し、そ の後で質問紙調査によって実際に使用されている表現を見つけるという方法を採用した。日本国内では 和訳（日本語訳）に対する需要が高いことに鑑み、今回は和訳時に用いられる日本語の主観評価表現を 対象にした（つまり英訳に用いる評価表現は除外）。

まず訳文に対する評価が掲載されている文献（付録 A. 1 に記載）を参照し、そこで用いられている評価表現 169 個を抽出した。ただしエラー評価の項目 （文法ミス、用語違反など）に該当する、指示が自明 な表現は除外した。次に、表層的に類似する表現を まとめた。たとえば、意味的に類似すると考えられ る「稚拙」と「幼稚」は別項目として残す一方、「自然」と「自然な」は内容語を共有するためまとめた。 その結果、最終的に 110 個の主観評価表現が残った (表 2)。

続いて、質問紙調査を実施した。対象は業界団体 である一般社団法人日本翻訳連盟（JTF）に所属する 個人会員と、法人会員である機関や企業の構成員と した。前者はフリーランス翻訳者が大部分である一方で、後者には翻訳者のほか、品質保証担当、プロ ジェクト・マネージャー、コーディネーターなどさ まざまな職種の人を含む。質問は次の通りである。

納品後に、翻訳成果物に対する評価（クレーム含む） が行われることがあります。また、クライアントや 翻訳会社からの発注時（または仕様指定時）に「こ んな感じで仕上げてほしい」と指示されることがあ ります。このようなとき、以下の 1～110で示す主観的な言葉が実際に用いられることはありますか?

各主観評価表現に対して、この質問への回答を 「よくある」、「たまにある」、「ない」の3つの中か ら1つを選んでもらう形式とした。また、提示した 110 個以外に実際に使っている主観評価表現があれ ば自由記述欄を通じて列挙してもらった。調査は 2020 年 7 月 1 日〜 15 日に実施した。

## 3 結果

合計で 115 名から回答を得た。回答者の属性は表 1 に示す通りである。

表 2 に調査対象とした 110 個の主観評価表現を示表 1 回答者の属性

 & 21 & $18 \%$ \\

す。分野を通した全体で「よくある」または「たま にある」という回答の割合（以下、使用率）が高い 順に並べており、上位 20 位までは全体での使用率 と、 4 つの専門分野 (A. 金融・経済・法務、B. 医学・医薬、C. 工業・科学技術、D. 特許・知財) の各々に おける使用率も記載している。なお、回答者全員が すべての項目に回答したわけではない。

表 2 より、全体の傾向として専門分野横断的に共通の主観評価表現が用いられていることが分かる。 しかし、各専門分野において、他の 3 分野よりも相対的に使用率が高い表現があることも観察できる。他の 3 分野よりも使用者の割合が有意に（有意水準 5\%）高かった表現を表 3 に示す。使用率の差が大き い順に左から右、上から下に並べている。なお「В.医学・医薬」分野には該当する表現は無かった。

表 4 に、回答者の所属ごとの主観評価表現全体 （質問数 $\times$ 人数）の使用率を示す。回答者が多かつ た「翻訳会社」の所属者と「フリーランス」を対象 とした。なお所属が「フリーランス」の全員が職務 を「翻訳者」と回答した。表 4 より、翻訳会社の所属者の方がフリーランスよりも主観評価表現を使用
表 2110 個の主観評価表現と上位 20 位までの使用率

(ここから 21 位以降。読点が区切りで、中黒は併置)

逐語訳、すっきりした、通じる、ぎこちない、明膫、くどい、きれい、機械的、あいまい、流暢、技術的に正確な、こ なれていない、一読して意味がわかる、意味不明、複雑、口語調、意味のずれた、フォーマル、難解、稚拙、うまい、適訳、無難、しっくりする・しっくりくる、くだけた、堅苦しい、やわらかい、原文に引きずられない、ぴったりの、微妙、粗い、カジュアル、完璧、話し言葉、すっきりしない、つたない、工夫の余地がある、翻訳調、思い切った意訳、安心できる、パーフェクト、たどたどしい、端的、明快、馴染みのない・馴染みがない、筋の通った、書き言葉、理解不可能、文語調、練られた、格調ある・格調高い、読める、馴染みのある・馴染みがある、ぼかした、原文が透け て見える、頭に入らない、ピンとくる、安易、無駄のない、使えそう、通りがよい、リズムある、舌足らず、きれいで ない、頭に入る、練られていない、持って回った、思考の流れを踏まえた、坐りが悪い、幼稚、原文からは思いつかな い、引き締まった、切れ味がよい、悪訳、字訳、重い、超訳、翻訳くさい、パンチがある、雾囲気を損なった、味気な い、面白味を損なった・面白くない、具合が悪い、つまらない、生硬、白々しい、完全無欠、平明達意、荘重、しゃち こばった・しゃちほこばった

表 3 他の 3 分野と比較した場合の分野別による高使用率表現

A. 金融・経済・法務（3 表現）
フォーマル、格調ある・格調高い、書き言葉

C. 工業・科学技術（21 表現）

翻訳調、ピンとくる、話し言葉、やわらかい、堅苦し い、かたい、カジュアル、端的、こなれていない、口語調、フォーマル、格調ある・格調高い、こなれた、ぼか した、坐りが悪い、工夫の余地がある、翻訳くさい、悪訳、引き締まった、幼稚、平明達意

D. 特許・知財 （6 表現）

逐語訳、字訳、不明膫、機械的、技術的に正確な、正し い

する傾向が見られる（5\%水準の有意差あり）。

さらに、翻訳会社とフリーランスという所属で比較した際に、使用の割合が有意に（有意水準 5\%）高 い主観評価表現を抽出した。該当する表現は翻訳会社側のみにあり、48 個あった。付録の表 5 に示す。自由記述として回答された表現のうち、 2 人以

上から挙げられたのは「ニュアンス」と「機械翻訳」のみであった。前者は「ニュアンスが違う」や 「ニュアンスが出せていない」、後者は「機械翻訳の ようだ」や「機械翻訳つぽい」のように使われる。 これら以外を付録の表 6 にまとめた。

## 4 考察

先述の通り、全体で上位に入る表現（表 2）は、専門分野にかかわらず同じような傾向が見られる。 つまり上位の主観評価表現は共通して用いられてい る。ただし表 3 で示した通り、分野ごとに使用率の 高い表現が存在する。詳細を見るとその分野におけ る特徵が浮き彫りになる。A の金融では契約書など 法務文書の特徴を示す「フォーマル」、「格調高い」、
「書き言葉」という表現が見られる。C の工業では マニュアルやマーケティング資料なども含まれるた めか、「話し言葉」、「やわらかい」、「堅苦しい」、「か たい」、「カジュアル」といった硬軟に関わる表現が 他分野よりも多く使われる。また D の特許では「逐語訳」や「字訳」さらに技術に関わる「技術的に正確な」や「不明膫」の使用割合が顕著に高い。

表 4 の結果は、翻訳会社に所属する人の方がフ リーランスよりも主観評価表現の使用者が多いこと を示した。これには 2 つ理由があると推測する。 まず、翻訳成果物の要求事項や品質を語る際に、翻訳会社と発注先のフリーランス翻訳者との間（すな わちプロの翻訳専門家間) では客観評価手法（エ ラー評価）でコミュニケーションが図られる一方 で、翻訳会社と発注元のクライアント (必ずしも客観評価手法に詳しくない）との間では主観評価手法 を用いざるを得ないため、翻訳会社における使用者 が多くなるという点である。もう 1 つ理由は評価対象の単位あるいは粒度である。翻訳会社とフリー ランスとの間では、文法ミスなどをエラー評価で具体的に細かくフィードバックすることがある。一方 で翻訳会社とクライアントとの間では、ファイル一式など納品物全体の評価が伝えられる。全体評価を 伝える際は抽象的な主観評価の方が便利であるた め、翻訳会社における使用者が多いという理由で ある。

## 5 おわりに

翻訳業界において主観評価は重要であり、実際に 広く使われている。しかしこれらの表現は主観的で あるがゆえに、使用者によって意味（指示対象）が 異なる可能性が考えられる。そのため、実際にどの ような主観評価表現が使われているか、各々の意味 が何であるのかが分かれば、関係者間に共通のコ ミュニケーション基盤を構築でき、翻訳品質の向上 にも資する。そこで本論文ではまず、翻訳現場で頻繁に用いられる主観評価表現について調査した。分野を通じた全体では「直訳」、「わかりやすい」、「意訳」、「読みやすい」などの表現の使用率が高かった。 また各専門分野で使用率が高い表現も判明した。

今後は、これらの主観評価表現が「どのような意味で用いられているのか (どのような言語現象を指 し示すのか)」という点について調査を継続する。

## 謝辞

調査に協力していただいた一般社団法人日本翻訳連盟（JTF）および回答者の皆さまに感謝申し上げ ます。

本研究の一部は、日本学術振興会科研費補助金基盤研究（S）「翻訳規範とコンピテンスの可操作化 を通した翻訳プロセス・モデルと統合環境の構築」 （研究課題番号：19H05660）の支援を受けて行われ ました。

## 参考文献

[1] Paul Fields, Daryl Hague, Geoffrey Koby, and Alan Melby. What is quality? A management discipline and the translation industry get acquainted. Revista Tradumàtica, Vol. 12, pp. 404-412, 2014.

[2] David Garvin. What does 'product quality' really mean? Sloan Management Review, 1984.

[3] 西野竜太郎. 翻訳品質のランチボックス：翻訳の 「品質」とは (2).日本翻訳ジャーナル, Vol. 284, pp. 24-25, 2016.

[4] Arle Lommel, Hans Uszkoreit, and Aljoscha Burchardt. Multidimensional Quality Metrics ( MQM ): A framework for declaring and describing translation quality metrics. Revista Tradumàtica, Vol. 12, pp. 455-462, 2014.

[5] 一般社団法人日本翻訳連盟. JTF 翻訳品質評価ガイド ライン,(2020-12-15 閲覧）.https://www.jtf.jp/tq/ pdf/jtf_translation_quality_guidelines_v1.pdf.

[6] 豊島知穂, 藤田篤, 田辺希久子, 影浦峡, Anthony Hartley.校閲カテゴリ体系に基づく翻訳学習者の誤り傾向の 分析. 通訳翻訳研究への招待, Vol. 16, pp. 47-65, 2016.

## A 付録

## A. 1 抽出時に参照した文献

主観評価表現の抽出時に参照した文献を示す。

・安西徹雄『翻訳英文法 一 訳し方のルール』(バベルプレス、2008 年)
- 安藤進『AI 時代の翻訳に役立つ Google 活用テクニック』(丸善出版、2018 年)

・遠田和子『Google 英文ライティング』(講談社、2009 年)
- 倉増一『特許翻訳の基礎と応用』(講談社、2006 年)

・駒宮俊友『翻訳スキルハンドブック』(アルク、2017 年)

・近藤哲史『トライアル現場主義！』(丸善出版、2005)

・沢井昭司・時國滋夫『特許翻訳の実務』(講談社、2014 年)

・柴田耕太郎『翻訳家になろう』(青弓社、2012 年)
- 田辺希久子・光藤京子『プロが教える基礎からの翻訳スキル』（三修社、2008 年）

・中山裕木子『技術系英文ライティング』(日本工業英語協会、2009 年)

## A. 2 翻訳会社で使用率が高い表現

フリーランスと比較した場合に翻訳会社で有意に（有意水準 5\%）使用率が高い表現 48 個を表 5 に示す。使用率の差が大きい順に左から右、上から下に並べている。

表 5 フリーランスと比較した場合に翻訳会社で使用率が高い表現 48 個読みにくい、機械的、兄長、つたない、稚拙、不明膫、不自然、くどい、わかりにくい、ぎこちない、簡潔、複雑、あ いまい、きれい、読みやすい、逐語訳、うまい、丁寧、忠実、たどたどしい、意味のずれた、原文に引きずられた、適切、正しい、尔さわしい、しっくりする・しっくりくる、意味不明、粗い、自然、カジュアル、直訳（直訳的・直訳調）、意味が通じる、通じる、頭に入らない、理解不可能、堅苦しい、こなれていない、難解、流暢、かたい、口語調、明膫、話し言葉、適訳、すっきりしない、ぼかした、字訳、わかりやすい

## A. 3 自由記述で挙げられた表現

自由記述で回答のあった主観評価表現のうち、2 人が回答した「ニュアンス」と「機械翻訳」を除き、整理 した上で 6 に示す。順不同である。

表 6 自由記述で挙げられた主観評価表現（「ニュアンス」と「機械翻訳」は除く）

定訳、文脈に即した、頭でつかちな主語・主部、長い修飾節、同語反復、好み、刺さる、下手だ、分かりづらい、違和感がある、スラスラ読める、一読で理解できる・できない、意味合い、正確、不完全な、不十分な、整然とした・整然 としない、文意に合わない、一般的な表現、どちらの意味にも取れる


# 相対的意味論と機械翻訳の応用

村上仁一
鳥取大学工学部
murakami@tottori-u.ac.jp

## 1 はじめに

本論文では, 語彙の意味を，説明するために，相対的意味表現と, 絶対的意味表現について述べる. 次に, これ らの方法でも，説明できない語彙に対し， 2 言語を利用 した方法をしめす。そして，この方法を利用した翻訳方法について述べる。具体的には,” 相対的意味論に基づく 変換主導型統計翻訳 (TDSMT)”と,” 相対的意味論に基づ く統計翻訳 (RSMT)”の方法について述べる. 最後に相対的意味論と NMT(Nural Network Machine Translation) の関係 を考察する。

## 2 語彙の意味と辞書

## 2.1 辞書学と意味表現

辞書は, 現在や過去において, 使用された語彙を収集 し, その品詞・意味・背景 (語源等) - 使用法 $($ 用例) ・派生語・等を解説した書籍である. 基本的には, 語彙は, 他 の語彙を利用して, 解説する. 1 つの辞書において, 解説文には，出来るだけ統一をとるように収集される.

語彙について何らかの記述をするための言語を，メタ 言語と呼ぶ. 初めに, 語彙とメタ言語が, 同一言語の場合の例を示す. そして, 語彙の意味を絶対的意味表現と 相対的意味表現をもちいて述べる.

## 2.2 絶対的意味表現

絶対的意味表現とは, 単語の語彙の意味を具体的な他 の語彙で表現する。この表現方法は, 基本的には, 理解 しやすい. 以下は, 絶対的意味表現の例である.

$
\begin{array}{ll}
\text { 青 } & - \text { 波長 } 400 \mathrm{~nm} \text { 近辺の光 } \\
\text { 赤 } & - \text { 波長 } 800 \mathrm{~nm} \text { 近辺の光 }
\end{array}
$

多くの語彙は, 絶対的意味表現で, 表現できる. しか し, 意味の表現が困難な語彙も多い. 以下は, その例で ある.

$
\text { 右[1] }
$
- 南を向いたとき，西にあたる方（広辞苑）

-アナログ時計の 1 時から 5 時までの表示がある 側. (新明解国語辞典)

—この辞書を開いて読むとき, 偶数のぺージのあ る側（岩波国語辞典）

左一南に向かったとき，東にあたる方（旺文社国語辞典)

-アナログ時計の文字盤に向かった時に, 七時 から十一時までの表示のある側.（新明解国語辞典)

ーこの辞典を開いて読む時, 奇数ページのある 側.（岩波国語辞典）
いずれの説明も，曖昧な点が残る（例えば，“南”と は?）似た語彙として“上”“下”などがある.

## 2.3 相対的意味表現

相対的意味表現とは, 単語の意味を, お互いに相反す る単語で表現する方法である。例を以下に述べる。

$
\begin{array}{ll}
\text { 右 } & - \text { 左の反対 } \\
\text { 左 } & - \text { 右の反対 }
\end{array}
$

絶対的意味表現で困難な語彙は, 相対的意味表現で表現可能な場合が多い.しかし, この表現方法は, 説明が ループするため，“煙を蒔いたような表現”と言って嫌悪 する人も多い.

また，語彙の中には，対的意味表現を用いても，説明で きない語彙がある．以下は，その例である。人間

$
\begin{aligned}
& \text { - ひと 人類 } \\
& \text { - 遺伝的な両親が人間である人 } \\
& \text { - 考える葦 }
\end{aligned}
$

いすれの説明も，疑問点が残る。このように，“人間” の意味を説明することは, 非常に困難である. ${ }^{1)}$

## 2.42 言語を用いた意味表現

単言語では説明するのが困難な語彙は，2 言語を利用 して表現することが可能な場合がある. 例を以下に挙 げる.

・“人間”とは “human”である.

以下に，2 言語を用いた例を示す。

“右”とは “right”である.

“犬”とは“dog”である.

“動物”とは“animal”である。

しかし，“犬”には別の意味がある。

“大”とは “spy”である.

このように， 2 言語をもちても，語彙に複数の意味が あるとき，一意に表現できない。

## 2.52 言語を用いた相対的意味表現

単言語において, 複数の意味があるとき, 2 言語を用 いた意味表現では, 1 意に表現できない。このような場合. 2 言語の相対的意味を用いて表現できる.

“aがbならば c は d"

これを “ 2 言語を用いた相対的意味表現”と呼んで いる.例を以下に示す.

1. “右”が“right”ならば“左”は “left”

2. “大”が“dog”ならば “猫”は “cat”

1）個人的には，2 番目の説明が好みである.

3. “大”が“Canis”ならば“猫”は “Felis”

4. “大”が“spy”ならば “猫”は “sex decoy”

## 32 言語を用いた相対的意味表現の 辞書（変換テーブル）

## 3.1 変換テーブルと文法

本研究では, 語彙を 2 言語を用いた相対的意味表現に 基づいて，考える．これを以下のように表現する．

・“aがbならば c は d ただし a,b,c,d は単語”

この辞書を“変換テーブル”と呼んでいる。

例を以下に示す.

a:犬 b:dog c:猫 d:cat

a:犬 b:Canidae c:猫 d:Felis

$\operatorname{dog}$ と cat は, 哺乳類である. Canis は犬科で, Felis は猫科である.この例では, 名詞の意味的な階層の情報が変換テーブルに含まれる.

a:彼 b:he c:彼女 d:she

a:彼 b:him c:彼女 d:her

この例では，代名詞の文法が変換テーブルに含まれる．

a:走る b:run c:歩く d:walk

a:走った b:ran c:歩いた d:walked

この例では，時制の文法が変換テーブルに含まれる。

これらの例から, 変換テーブルには, 文法や属性や意味の情報が含まれることがわかる. なお, 文脈に応じた 情報も含めることができると，考えている.

## 3.2 変換テーブルの作成方法

変換テーブルは, 手動で作成できる. しかし, 自動的に 作成する方法がある。その方法の 1 つに，文パターンを 利用して作成する方法がある. 作成方法を以下に示す.

1. 学習文 1 を準備する。

・彼は山にいった。
- He went to mountain.

2. 対訳単語を準備する。

a: 山 b: mountain

3. 文パターンを作成する.

・彼は $N$ にいった.
- He went to $N$

4. 学習文 2 を準備する。

・彼は海にいった。
- He went to sea

5. 学習文 1 と文パターンと学習文 2 から, 以下の変換 テーブルを作成する.

a:山 b: mountain c:海 d: sea

## 4 相対的意味論を用いた変換主導型機械翻訳 (TDSMT)[2]

変換テーブルは, 文中の単語の置換可能な辞書とし て捕らえることができる. したがって，変換テーブル の応用として, 機械翻訳がある. 以下に相対的意味論 を用いた変換主導型機械翻訳 ( Tranfer Driven with Relative Meaning using Statistica Machine Translation 以後 TDSMT) の 概念を述べる．例として，日英翻訳を考える。

## 4.1 TDSMT の基本概念

基本概念を，以下に述べる.

・Aが B ならば C は Dである.

・A,B,C,D は文である.

・a,b,c,d は単語もしくは句である.

・入力文は C で，翻訳文は D になる。

以下に例を示す。

1. 入力文

日英翻訳において，以下の日本文の翻訳を想定 する.

Cショウジョウハエは林檎が好きだ

2. 学習文

学習文として 以下の対訳文を想定する.

$\mathrm{A}$ 私は林檎が好きだ

BI like an apple

3. 変換テーブル

以下の変換テーブルを想定する.

a: 私 b: I c: ショウジョウハエ d: Fruit flies

4. 変換規則

以下の変換規則を想定する。

$\mathrm{A}$ に $\mathrm{a}$ を適用し， $\mathrm{B}$ に $\mathrm{b}$ を適用できたならば，

$\mathrm{C}$ に $を$ 適用し， $\mathrm{D}$ に $\mathrm{d}$ 適用する。

5. 出力文（翻訳文）

以上の結果から以下の出力文（英文）を得る.
- Fruit flies like an apple

## 4.2 TDSMT の一般形式

TDSMT では，以下を基本概念とする。

・A が B ならば C は D

・ただし A,B,C,D は文

$\mathrm{C}$ は入力文, $\mathrm{D}$ は出力文

A対訳学習文の日本文

$B$ 対訳学習文の英文

C入力の日本語文

D出力の英文（翻訳文）

・aがbならば $\mathrm{c}$ は $\mathrm{d}$

・ただし a,b,c,d は単語もしくは句

$a$ 対訳学習文の日本語単語

b対訳学習文の英語単語

c入力の日本語単語

d出力の英語単語

以下の変換規則を想定する。

・A K aを適用し， Bに $\mathrm{b}$ を適用できたならば， $\mathrm{C}$ に $\mathrm{c}$ を適用し，D $\mathrm{D}$ を適用できる。

## 4.3 TDSMT の例

Aツバメは矢のように飛ぶ

BSwallow flies like an arrow

C時間は矢のように飛ぶ

DTime flies like an arrow

a:ツバメ b:Swallow $\quad \mathrm{c}$ :時間 $\quad \mathrm{d}$ :Time

“Time flies like an arrow” の訳として “時蜾，矢を好む” が ある。この訳は，非文と考えられる。しかし，なぜ，非文 と考えられるのだろうか？通常は，“時蝿”が存在しない

から, 非文とする。しかし, 存在しないことの証明は, 困難である.

相対的意味論の考えかたは，“ツバメは矢のように飛ぶ” があるから，“時間は矢のように飛ぶ”と訳すことができ ると解釈する。

## 4.4 TDSMT の動作例

実際の文章に TDSMT を使って翻訳した例を以下に 示す.

A風が北から南に変わった

BThe wind changed from north to south

C信号が青より赤に変わった

DThe signal changed from green to red

使用した変換テーブルを以下に示す.

現実の TDSMT の翻訳結果を見ると，それぞれの変換 テーブルにおいて，やや奇異に思われる点がある。

1. “信号”と“風”は，あまり類似していると思えない.

2. “青”と“北”は，あまり類似していると思えない.

3. 通常, “より”は“han”と訳される.

4. 通常, “青”は “blue”と訳される.

このように，実際に利用される変換テーブルは，人間 の直感と, 少し異なる.

## 4.5 TDSMT の問題

## 1. 語彙数

一般の単語辞書の見出し語は, 約 10 万単語であ る.したがって, 変換テーブルの数は 100 億単語が 必要になる。（10万 $\times 10$ 万）この数の, 精度の高い 変換テーブルを収集することは，困難である。

2. 直感との差

実際に翻訳に利用される変換テーブルは, 人間の 直感と，少し異なる場合がある 4.4 章.

## 5 相対的意味論に基づく統計翻訳 (RSMT)

## 5.1 基本的な考え方

TDSMT は，変換テーブルの数と精度が問題になる.し かし, 相対的意味論は, 魅力のある考え方である. そこ で，この考え方を，文に適用する. そして変換テーブル は使用しない. 変換テーブルの代わりに, 翻訳確率と類似度を利用する.この翻訳方式を相対的意味論に基づく 統計翻訳 Relative Meaning Statistica Machine Translation (以後 RSMT) と呼んでいる. 以下に RSMT の基本的な概念を 述べる.

・A が B ならば C は D

・ただし A,B,C,D は文

$\mathrm{A}$ 対訳学習文の日本語

B対訳学習文の英語

C入力日本文

D出力英文（翻訳文）
-Aと C は同一言語において類似
- A と B は 2 言語の翻訳において類似

・B とDは同一言語において類似

$\cdot$C と D は 2 言語の翻訳において類似

以下に例を述べる。

A私は林檎が好きだ

BI like an apple

Cショウジョウハエは林檎が好きだ

DFruit flies like an apple

この例では，以下のように解釈する。

1. “私は林檎が好きだ”と“ショウジョウ八エは林檎が 好きだ”は類似している。

2. “私は林檎が好きだ”に対する “I like an apple”の翻訳確率は高い。

3. “ショウジョウハエは林檎が好きだ”に対する “Fruit flies like an apple"の翻訳確率は高い.

4. "I like an apple" と "Fruit flies like an apple" は類似し ている.

5. 以上 4 点を考慮して, “ショウジョウハエは林檎が好 きだ”を入力したとき, “Fruit flies like an apple" が翻訳文である.

## 5.2 実際の RSMT

## 5.2.1 出力英文

理想的な RSMT において, "D 出力英文”は, 生成可能 なすべての英文から，選択する。語彙を $10^{5}$ と考えて， 1 文は 10 単語で構成されると仮定すると, $10^{50}\left(\left(10^{5}\right)^{10}\right)$ 文 から選択することになる。また，Aおよび B は，大量の 対訳学習文から, 最適な文を選択する。通常は, $10^{6}$ 文対 あたりが想定できる。

この数字は, 現実的には計算不可能である. そこで，あ らかじめ, “C 入力日本文”を, “別の機械翻訳” で翻訳し,複数の出力英文を得る. これから” $\mathrm{D}$ 出力英文” として, RSMT を動作して A と B を選択する．この“別の機械翻訳” には, NMT や Phrase Based SMT や rule base MT など が可能である．したがって実際の RSMT は，複数の翻訳候補文から, 最終的な出力英文（翻訳文）を選択する形に なる.

## 5.2.2 文の翻訳確率 $\operatorname{Sim\left(C D_{j}\right)$}

文 $C$ と文 $D_{j}$ の文の翻訳確率は, 多くの計算方法が考 えられる. 基本的には, 文の翻訳確率とみなせる。例え ばNMT の翻訳確率も利用できる. 本論文では, 線形性を 考えて，以下の式を利用している。 $\operatorname{Sim}\left(C_{m} D_{j n}\right)=$

$
\begin{array}{rc}
\sum_{i=0}^{M} \sum_{j=0}^{N} \log 2\left(\operatorname{Count}\left(C_{m} D_{j n}\right) /\left(\operatorname{Count}\left(C_{m}\right) \times \operatorname{Count}\left(D_{j n}\right)\right)\right) \\
\operatorname{Count}\left(C_{m} D_{j n}\right) & \text { 対訳データベース中において } \\
& C_{m} \text { と } D_{j n} \text { が同時に出現する回数 } \\
\operatorname{Count}\left(C_{m}\right) & \text { データベース中の } C_{m} \text { の出現回数 } \\
C_{m} & \text { 文 } C \text { の } m \text { 番目の単語 } \\
M & \text { 文 } C \text { の単語数 } \\
D_{j n} & \text { 文 } D_{j} \text { の } n \text { 番目の単語 } \\
N & \text { 文 } D_{j} \text { の単語数 }
\end{array}
$

## 5.2.3 文の類似度 $\operatorname{Sim\left(C A_{i}\right)$}

文 $C$ と文 $A_{j}$ の文の類似度は, 多くの計算方法が考えら れる. 最近は Word2vec を利用した距離尺度が多い. また BLEU を利用した距離尺度も考えられる. 本論文では, 線形性を考慮して，以下の式を利用している.

$\operatorname{Sim}\left(C A_{i}\right)=\sum_{i=0}^{M} \operatorname{CountNum}\left(C A_{i}\right) / \operatorname{Count} A L L\left(A_{i}\right)$

CountNum $\left(C A_{i}\right)$ 文 C と文 $A_{i}$ が一致する単語数

CountALLA $A_{i} \quad$ 文 $A_{i}$ の単語数

$M \quad$ 文 $A$ の文数

## 5.3 RSMT の実働例

以下に RSMT の例を示す. C は入力文で, D は出力文 （翻訳出力）である.

A信号が青から赤にぱっと変わった。

BThe traffic light jumped from green to red.

C信号が青より赤に変わった。

DThe signal changed from green to red .
- $\operatorname{sim}(A C)=-1.807355$
- $\operatorname{sim}(B D)=-3.321930$
- $\operatorname{trans}(C A)=-75.601800$
- $\operatorname{trans}(B D)=-1.041353$

## 5.4 RSMT の長所

RSMT の長所を挙げる.

1. 修正の容易さ

翻訳した場合，その翻訳に近い翻訳文が表示され る.そのため, 誤った翻訳が出力されても, 人手で 用意に変更箇所が解る.

A彼は我を通した。

BHe had his own way .

C彼女は我を通した。

DShe had his own way.

正解文は “She had her own way” である.この例文 では “his”を“her”に書き換えるのは容易と考えて いる.
2. $N$-BEST

RSMT では 1 位候補が間違っていても，2 位候補 が正しい場合が多い. 例を以下に示す.

Cぶらんこが摇れている。

$D_{1}$ The swing is flicking.

$A_{1}$ 炎が摇れている。

$B_{1}$ The flame is flickering.

$D_{2}$ The swing is swining.

$A_{2}$ ハンモックが摇れていた。

$B_{2}$ The hammock was swinging .

この例では正解が第 2 候補にある.

3. 人手評価と自動評価の差

自動評価では，評価できない良さがある。人手評価では，通常の NMT を超える場合が多い.

## 5.5 RSMT の問題点

以下に RSMT の問題点を示す.
ある単語と，ある単語が共起する確率が高いとき, この 単語を削除することは, 困難である. 例を以下の述べる.

A彼は我を通した。

BHe had his own way .

C彼女は我を通した。

DShe had his own way .

この例では “我”を “his”と翻訳している．学習データに “我”を “his”の共起の確率が高い場合，この“我”を “her” と翻訳することは困難である。

A炎が摇れている。

BThe flame is flickering .

Cぶらんこが摇れている。

DThe swing is flicking.

この例では“ぶらんこ”が“摇れている”を“flicking”と 翻訳している。学習データに“摇れている”と“flicking” の 共起の確率が高い場合, “摇れている”と “swinging” と訳 することは，困難である．

## 6 考察 - 相対的意味論と NMT

NMT は, 現在, 尤も普遍的に使われている翻訳システ ムである. この翻訳システムを，相対的意味論的に考え ると，A と B が複数ある場合の C と D の関係として捕 らえることが可能である. NMT の学習データは A,B に 相当する. C は入力文で，D は出力文（翻訳文）である. そして, 文の類似確率と翻訳確率は, 非線形関数であり, Nural Network で類推している。つまり, 5.1 章における, $\mathrm{A}, \mathrm{B}$ を明示しない翻訳システムである。

例を以下に示す。学習データを 2 文とする．Ｃは入力文で，D は出力文である。

$A_{1}$ 彼は山にいった。

$B_{1}$ He went to mountain

$A_{2}$ 彼女は海にいった

$B_{2}$ She went to sea

$C$ 彼は海にいった

$D$ He went to sea

この例では以下のように考える。

“彼は山にいった。”と“He went to mountain”, と “彼女は 海にいった”と “She went to sea”が，存在するから，“彼は 海にいった”は “He went to sea”と翻訳できる。

この考え方は，NMTにおける，別の見識を持てる．

## 7 まとめ

本論文では，相対的意味論に基づく統計翻訳 (RSMT) の 考え方をまとめた．RSMT は，文の相対的意味論を利用 している。そして“Aが B ならば $\mathrm{C}$ は D”を想定してい る.そして, 文の翻訳確率と文の類似度を利用して, 出力文（翻訳文）を選択する。ただし，文の翻訳確率と文の類似度には，多くの計算方法がある。また，相対的意味論 は, NMT の別の見方が可能になる. また, 多くの分野で,応用が可能である.これらの分野を追求していきたい.

## 参考文献

[1]三浦しをん，舟を編む．光文社 ISBN-10 4334927769, 2011.

[2]安場裕人, 村上仁一. 相対的意味論に基づく変換主導型統計機械翻訳 未知語の出力. 言語処理学会第 25 回年次大会, No. A5-4, 2019.


# メタ言語としてのISO17100 : 翻訳プロセスの詳細化

大西菜奈美山田優
関西大学

## 1 はじめに

翻訳とは，原文テクスト以外のさまざまな情報を 参照しながら翻訳操作にかかわる意思決定をするプ ロセスである．原文に内包される（intrinsic）情報だ けでなく，用語集スタイルガイド，また翻訳の目的 のように原文テクストの外にある（extrinsic）情報も 重要になる.

産業翻訳においては，このような情報を誰が，ど の段階で，どのように扱うのかという手続きが重要 になるため, ISO17100[1]では，この手続きを翻訳プ ロセスとして規定している。実際の翻訳現場では, プロジェクトマネジャーが深く関与し, 翻訳の発注者であるクライアントとの交涉，目的を含む仕様書 の決定，翻訳者，チェッカーなどのワークフロー管理の業務を行う。

しかしその業務で扱う情報の中身については， ISO17100 の記載以上の粒度を超えると, 担当者の経験や直感で判断されることがしばしある．そのため 詳細が，あまりよくわかっていない。具体例を見な がら説明する。

下の引用は, ISO17100の「4. 制作前のプロセス及 び活動」工程の「4.2 引合い及び実行可能性」に関す る記述である.

“The TSP shall analyze the client's enquiry in order to identify the client's specifications for the services and the TSP's capability to meet them, determining whether all the necessary human, technical, and technological resources are available." (p.7)

翻訳作業開始の前段階でクライアントの要件を把握し, "clients'specifications (仕様) "を"identify（同定する）”と規定している。しかし，実際に， specifications（仕様）で網羅すべき情報は明確に記述 されていないため, どの情報をどの粒度で収集し仕様書に含めるのかは不明である. (仕様書に関して言 えば，サンプルという形でISO 17100 の付録に提供 されているが，あくまで一例に過ぎない.)
このような状況は，業務担当者に判断させる余地 を与えてしまい，安定的に品質の高い翻訳を提供し たい翻訳会社にとっても望ましくない。また，翻訳 の目的やコンテクストなどの原文テクストの外にあ る (extrinsic) 情報の扱い, 翻訳品質への影響の分析,翻訳品質評価の実施を考えても，より詳細な翻訳プ ロセスの記述は重要になる.

そこで，本稿では，ISO17100をべースとした翻訳 プロセスの記述を，ISO 17100 以外の資料と収集デ ータを参照して詳細化する。具体的には，翻訳プロ セスに関わる誰が何を行うのかを，翻訳プロセスの 下位工程毎に実行される内容（タスク）に分解し， その詳細内容を「属性」として記述・整理する. 最終的には, 翻訳プロセスを学ぶ者と学習者にとって の可学習性の向上，翻訳プロセスで扱う外的情報を 考慮した翻訳品質評価標準の構築に応用することを 目指す. 本項は，そのための作業の詳細化方法の一部を説明する。

## 2 詳細化の方法

## 2.1 タスクの抽出

翻訳プロセスの詳細化にあたり，産業翻訳のプロ セスを規定した国際標準規格の ISO17100をべース に使用した，そのうち，プロジェクトのワークフロ 一の記述がある 4～6 章を詳細化の対象とした. 各章は, 以下の翻訳プロセスの下位工程を説明し (4 章 Pre-production (制作前プロセス), 5 章 Production (制作プロセス), 6 章 Post-production (制作後プロセス)), その工程に含まれる活動内容を記している.例えば， 4 章 Pre-production（制作前プロセス）には， 4.2 節 Enquiry and feasibility（引合いと実施可能性）, 4.5 節 Quotation（見積り）のように，その工程で行われる 活動の記載がある.これらの項目は, ISO 17100 の節見出しと対応する. 見出しの下には, その活動内容 の説明が記載されている. 具体的には, 4.2 節の記述 は前述した”The TSP shall analyze...”である. 以上が ISO 17100 の構成の概要だ.

ISO 17100 の情報から，筆者らは，まず詳細化の対
象となる表現（「タスク」と呼ぶ）を抽出した。夕ス クとは, TSP (翻訳会社) が行う活動の最小単位であ る. TSP が「何をする」のかを, 詳細化するのが本稿の目的であるので，このように考えた. 実例で説明する。

上の英文の記述から，この手順に従って，TSPが 「何をする」に対応する表現を含むタスクを抽出す る. 寸ると次の 3 つのタスクを抽出できる。 (1) analyze the client's enquiry, (2) identify the client's specifications (for the services), (3) (identify) TSP's capability. これらのタスクが詳細化の対象になる.
は詳細化されたタスク(2)と(3)が入る。尚，ここまで の作業は, ISO 17100 で提供されている情報のみで 完結する。

しかし筆者らの目的は更なるタスクの詳細化であ るので，表 1 で示すように，より深い階層に記述を 拡張する. 具体的にいうと, 表 1 のレベル 4 までに 分解したタスク (同定すべき) (2)specification（仕様書) と(3)TSP's capability の中身を，更に細かく分解 する.

冒頭で問題提起したように，実務現場や教育現場 では，(2)「翻訳の仕様書」という考え方が重要であ るとは理解されているものの，その中身が分からな

 &  & source characteristics & source language & ISO11669 \\

表 1 : タスク詳細化の例

## 2.2 タスクの詳細化

さて，原文の英文を見ながら，上で抽出した 3 つ のタスクの関係に目を向けると, (1)は, (2)と(3)に分割できる（上位の階層にある）と考えられる。なぜ なら(1)顧客要求を分析すること (analyze the client's enquiry) は, 「in order to identify (2) the client's specifications and (3)TSP's capability (2)と (3)老同定寸 るため) とあるように，(2)と(3)を目的としたタスク だからである.つまり, (1)顧客要求の分析をすると いうタスクは, (2)顧客仕様書と (3)社内リソース情報 を同定するタスクに分解されると理解できる. すな わち，タスク(1)は(2)と(3)に詳細化できる.

ここまでの手順の結果を, 表 1 のレベル 1 ４亿示す. レベル 1 は, 下位工程の名前 4. Pre-production である。レベル 2 は節見出し 4.2 Enquiry and feasibility, レベル 3 は抽出したタスク(1), レベル 4
いために，実際に仕様書を作ることができない，も しくは仕様書の作り方を教えることができないとい う問題が生じている。それゆえに, ISO17100 に記載 されている粒度以上のタスク詳細化が必要なのであ る.したがって, ISO 17100 以外の資料を参照し, 更 なる詳細化を行う。

## 2.2 詳細化のための参照資料と方法

更なるタスクの詳細化のために, ISO 17100 以外 に参照した資料は次の 3 種類である。

a. ISO11669

b. 翻訳会社から入手した資料データ

c. 翻訳プロジェクトマネジメントに関する書籍

a は ISO 17100 同様に翻訳プロジェクトを規定し た国際規格 ISO11699（Translation projects -- General
guidance）[2]である. 翻訳プロジェクトのベストプ ラクティスのための標準仕様書と位置付けられてい る. ISO17100 の翻訳プロセスに対応しているため, タスク詳細化のための補完資料として最適である.

$\mathrm{b}$ は，筆者らが直接入手した資料データである. ISO17100 認証済みの大手翻訳会社 2 社に,インタビ ユーを行い, 翻訳業務の資料の提供を受けた. 本研究のために, 実際に翻訳案件を発注し, その後, 合意の上で, 作業に関するヒアリングを行ない, 社内資料を可能な限り入手した. ISO 17100 の翻訳プロ セスを現場で実践している会社の生データ・資料と いうことになる.

c は翻訳プロジェクトマネージメントを扱う書籍 である.学術書から一般実用書までを含む.ただし， ISO17100を想定して書かれていない書籍も含む.

これらの資料のうち, a と $\mathrm{b}$ は必須参照資料とし た. 特に a は, ISO 17100 の補完資料として, 他より も優先順位を高く設定した. c は, a と bに詳細化で きる情報が見つからない場合にのみ参照した.参照資料を使って詳細化する手順については，基本的には先述どおりに，各資料内のまとまった記述 に対してタスクの抽出を行い, 更なる詳細化の言葉 を列挙した. それに先立ち, 資料の内容を ISO 17100 の翻訳プロセスの下位工程に対応するように整理し ておいた。

具体例で示す.表 1 の Level 6 の「identify the client's specifications 仕様書の同定」が, 詳細化の対象タス クである.つまり「specification 仕様書」の中身を追加する必要がある. そこで $\mathrm{a}$ と の資料からそれに あたるタスクを抽出して，すべてを述べ項目として 列挙する (表 1 の Level 5～6). 表の最上段の, Level $5\lceil$ source language content information $\rfloor$, Level $6\lceil$ source characteristics $\rfloor$, Level $7 「$ source language $」$ は,「specification 仕様書」の詳細タスクの一例であり,参照資料 a の ISO 11669 から抽出した. 上から 4 段目の Level 5 「クライアント情報」Level 6「新規 or リピート顧客」は参照資料 $\mathrm{b}$ の翻訳会社 $\mathrm{A}$ から抽出 した.

## 2.4 タスクの整理

参照資料から列挙した項目については, 後に重複寸る項目を同定し, 完成表には最終的に 1 つの項目 だけを残す. ISO11669 と重なる項目がある場合は, こちらの項目名を残す方針とする (最優先資料).ま た, Level2 より下の階層については, タスク毎に階層の深さが不揃いなので, 最終的には, 一定の基準 にしたがって整える必要がある.今後の決定となる.

## 3. まとめと展望

以上, IS0 17100 の翻訳プロセスの詳細化の意義 と方法の一部を報告した。翻訳プロセスで取り扱わ れる情報の範囲には，原文に内包される（intrinsic） ものだけでなく, 原文テクストの外にある (extrinsic) ものもある.このことを強く認識し実践理論に取り 入れた翻訳理論研究のドイツ機能主義の影響は，実務翻訳に多大な影響を与えただけでなく，近年では DQF P MQM[3]などの翻訳評価基準の策定にも貢献 している.この流れは, 引き続き翻訳・通訳の実務,教育, 機械翻訳の開発（例えば，マルチモーダル学習）を考える際にも重要となるだろう。このような 観点からも, 翻訳プロセスの詳細化の必要性を再確認できる.

## 謝辞

本研究の一部は, 日本学術振興会科研費補助金基盤研究 (S)「翻訳規範とコンピテンスの可操作化を 通した 翻訳プロセス・モデルと統合環境の構築」(研究課題番号:19H05660)の支援を受けて行われた.

## 参考文献

1. International Standard Organization (ISO). (2015). ISO 17100:2015. Translation services - Requirements for translation services. First edition.

2. International Standard Organization (ISO). (2012). ISO 11669:2012. Translation projects - General guidance. First edition.

3. Burchardt, B. and A. Lommel (2014) QT-LaunchPad supplement 1: Practical guidelines for the Use of MQM in Scientific Research on Translation Quality. http://www.qt21.eu/downloads/MQM-usageguidelines.pdf.

## 付録

## タスク詳細化に使用した参考にした文献（c）

ISO，翻訳会社からのデータ以外で，翻訳会社の実データの補完として参照した文献を示す.

Dunne, K \& Dunne, E. (Eds). (2011). Translation and localization project management, ATA Scholarly Monograph Series XVI.

Russi,D \& Schneider, R. (2016). A Guide to Translation Project Management, The COMET Program.

Mitchell-Schuitevoerder, R. (2020). A Project-Based Approach to Translation Technology, London: Routledge.

大西菜奈美山田優 関西大学


# メタ言語としての翻訳方略体系の構築と検証

山本真佑花山田優
関西大学
藤田篤
情報通信研究機構
宮田玲
名古屋大学
影浦峡
東京大学

## 1 はじめに

翻訳作業（翻訳プロセスと言うこともある）とは 原文・訳文間の記号的な操作であり，適切な翻訳は 訓練を積んだ翻訳者の作業によって作られるi.しか しながら, これらの作業における諸々の判断基準や 操作の種類はコミュニケーションに使えるほど十分 には形式化されていない。この問題は翻訳者側にあ るのではなく, 彼らが翻訳を語るためのツール，つ まり翻訳作業を具体的に記述するための言語が確立 されていないことにあると考えられる。

翻訳作業において理解されるべき重要な要素の一 つにテキスト操作の方略がある。これを体系化した 既存の研究の 1 つに, Chesterman [1] の翻訳方略体系がある.この体系には, Syntactic strategy, Semantic strategy, Pragmatic strategy の 3 種類のメインカテゴ リとその下に 10 種類のサブカテゴリが設けられて いる. Chesterman の体系は広く参照されているが，欧州言語間の翻訳を念頭に構築されたため, 他の言語方向の翻訳への適用の可否は不明である. また, サブカテゴリが必ずしも排他的でない（1 つの操作 に対して複数の方略のカテゴリが当てはまることが ある）ため，使用者によって認定する方略が異なる 可能性がある. その点で, 方略を語る共通言語とし てみた場合，改善の余地がある。

我々は, Chesterman の翻訳方略体系が英日翻訳の 事例にも適用可能か否かを検証し，必要に応じてカ テゴリの再編や定義の変更を行なうことで，英日翻訳を想定した翻訳方略体系を構築した。また，翻訳 を語る共通言語としての役割を想定し，翻訳方略体系の使用の際，1 つの操作に対して 1 つのカテゴリ が定まるように優先度を設けた。

## 2 課題と意義

翻訳方略の体系化は, 翻訳学の分野では, 翻訳を 分析することを主目的として一定の発展を遂げてき
たが，翻訳教育や翻訳実務に応用されうるまで精緻化されるには至っていない。それにより, 教育や実務の現場では問題が生じている，またはその問題が 認識され始めている.

翻訳教育現場では，指導者が学習者に対して，実務に必要なスキルを指導するが，プロ翻訳者による 翻訳操作の工夫，例えば，「原文に忠実に訳す」，「想定読者が読みやすく訳す」という操作を教えること ができない.

翻訳実務現場においては，フリーランス翻訳者の 翻訳の品質評価を担当するのは社内校正者や品質管理者であることが一般的であるが, 品質評価の際,

「この翻訳はとても品質が高い」,「この翻訳は意訳 すぎて読みにくい」など，評価者個人の主観で判断 されてしまっている. 機械翻訳の品質評価について も同様である.

この問題の原因は，原文と訳文とを独立した別々 のテクストと見なすのではなく，お互いの関係を考慮して評価しなければならないにもかかわらず，原文を訳文へと変容させる記号的な操作（プロセス） を記述する詳細な言葉がないことによる。つまり，原文と訳文の関係を表現するためのメタ言語が確立 されていない.

料理を例に見てみよう. 材料 (原文)を完成品（訳文）にするための料理（翻訳）というプロセスは，「惹る」「焼く」「炒める」「蒸す」などの調理方法 (方略）の言葉で記述できる. 翻訳でも， 1 つの原文に 対して複数の訳出が可能であり, それぞれの訳文の 違いは, どの翻訳方略を適用したのかの違いによる.例えば，従来から用いられている「直訳」と「意訳」 は，翻訳方略を示す類の言葉であるが，現場での実用に耐えうる粒度と客観性を持ち合わせていない。

この課題に対し, 我々は, 翻訳教育や翻訳実務の 現場で用いることができるように，客観的かつ評価者間で統一した基準に従って認定できる翻訳方略体系を構築した. この体系を共通言語として用いるこ

とで，指導者は翻訳学習者に対してプロ翻訳者の作業を教えることができ，また，品質評価者は，プロ 翻訳者の作業を言語的に分析し, 共通言語を使用し て共有することができる.

## 3 先行研究

翻訳方略を体系化し実践教育への応用をいち早く 試みた Vinay and Darbelnet [6] は, フランス語と英語 の言語間の違いを挙げ，直接的翻訳にあたる 3 つ，間接的翻訳にあたる 4 つ, 計 7 つの翻訳方略を提案 した. Pym [2] は, 教育現場での利用を目的とした 8 つの方略を構築し, 修士課程の 2 つのクラスで検証実験を行なった. Chesterman は, Vinay and Darbelnet の翻訳方略などの先行研究をまとめ, 3 種類のメイ ンカテゴリとその下に 10 種類のサブカテゴリを設 けて翻訳方略を整理した.ただし，いずれの研究も，英日翻訳の事例への適用の可否は確認しておらず， また翻訳教育や翻訳実務における実用性も十分には 検討していない。

Bode [7] [8] は, Chesterman の翻訳方略体系を日英翻訳に当てはめて再検討を図っている。しかしなが ら，それぞれの方略が排他的に定義されておらず，使用者によって解釈が異なる可能性がある.

## 4 翻訳方略体系の構築

我々は，英日翻訳を対象とした翻訳方略体系を構築した。 その際, Chesterman の翻訳方略体系を土台 とした. Chesterman の翻訳方略体系は, Syntactic strategy, Semantic strategy, Pragmatic strategy $の 3$ 種類のメインカテゴリに分けられている．また，サブ カテゴリもある程度細分化されており, 個々の方略 を区別しやすい，我々は，Chesterman の翻訳方略体系の英日翻訳の事例への適用の可否を確認すること で，英日翻訳における翻訳方略体系を構築した。

## 4.1 英日翻訳事例への適用可否の検証

まず, 英日翻訳の個々の事例を Chesterman の翻訳方略体系によって説明できるか否かを, 次の手順で 検証した。

1）原文 1 文とそれに対応する訳文（1 文でなくて もよい）を 1 組として扱う。

2）原文と最終訳文の間にあえて明示的に直訳を 設定し, 直訳と最終訳文の間のテクスト上の違 いを翻訳者の作業，つまり翻訳方略と考える。以下，直訳を「素朴訳」, 最終訳文を「適訳」と呼ぶ。ここで，素朴訳とは，誤りがなく，原文言語の文法構造通りであり，かつ目標言語の文法的に正しい状態で訳出された訳文をいう。

3）素朴訳と適訳の間でテクスト上の違いが見ら れる箇所に, Syntactic strategy, Semantic strategy, Pragmatic strategy のそれぞれから 1 方略ずつ付与寸る. 寸なわち, 1 事例につき 3 種類の方略 を付与する。たとえば次の例の場合，一重下線部には Literal translation (G1), Synonymy (S1), Other pragmatic change ( $\operatorname{Pr} 10)$ が付与され, 二重下線部には Clause structure change (G6), Converses (S4), Other pragmatic change (Pr10)が付与される. <原文>CNN reported on Thursday that a giant tornado and hailstorm had killed 51 people in China.

＜素朴訳＞CNNが木曜日、中国で巨大竜巻と 電が 51 人を死に追いやったと報じた。 <適訳＞CNN が 23 日、中国で巨大竜巻と雮 で 51 人が死亡したと報じた。

4）各事例が示す特定の事象を Chesterman の翻訳方略の適用例としてみなせるかどうかを検証 し，みなせないと判断した場合は，カテゴリの 追加や定義の変更を行なう。

5）決定リストの形に方略を体系化する。

具体的にはまず，検証用の対訳事例を，書籍『プ ロが教える基礎からの翻訳スキル』 [13] の基礎編,『誤訳ゼロトレーニング』 [14] の Chapter 1 から抽出した。これらの書籍は，翻訳学習者向けに翻訳ス キルについて細かく説明しており, 特定の分野に偏 ることもなく，学習者にとって馴染みのある事例を 扱っている。様々な翻訳作業が対訳例とともに説明 されており, 各対訳例内の説明対象箇所には下線が 引かれている。このような対訳例のうち, 翻訳方向 が英日である 173 事例を使用した。そのうち，直訳 が記載されている事例には，その訳を素朴訳として 使用し, 直訳が記載されていない 37 事例には，アノ テータが素朴訳を作成した。また, 説明対象箇所の 下線が引かれていない箇所であっても, 素朴訳と適訳の間でテクスト上の違いが見られる対訳例につい ては，そのような箇所に追加で下線を引き，検証対象事例とした。その結果, 原文, 素朴訳, 適訳の 3 つ組からなる 249 例の検証対象事例を得た。

次に，249 例の個々に対してChesterman の翻訳方略を付与した。各事例が示す特定の事象を Chesterman の翻訳方略の適用例としてみなせる場合

 & Antonymy & 反意語と否定要素を組み合わせて意味等価にすること。 または, 反意語と否定要素を外すことで意味等価にすること \\

## 図 1 我々が構築した英日翻訳における翻訳方略体系

はその方略を英日翻訳の翻訳方略として採用し, 適用例としてみなせないと判断した場合は新しい方略 を追加した。この作業を通して，多様な操作を含む Other semantic changes (S10) と Other pragmatic changes (Pr10)を削除し, 代わりに, テクスト上の文法的要素 の追加操作と削除操作を示す方略である Addition (G11)と Omission (G12), 句読法等の使用に関する方略である Punctuation change (G13), 分野や案件仕様 を満たすための方略である Domain adaptation (Pr12) と External information adaptation (Pr13)を追加した. また, Chesterman の翻訳方略体系における Information change $(\mathrm{Pr} 3)$ と Visibility change (Pr8)は包含関係にあると判断して統合し, Partial translation (Pr7)も External information adaptation (Pr13)に含めた.最後に，1 つの操作に対して複数のカテゴリが付与されないように，また，異なるアノテータ間でも 一貫して方略を付与できるように，決定リストの形 で方略を体系化した。 その際，1 つの事例に重複し て当てはまる恐れがある方略に関しては, 翻訳の単位が小さい方略の優先度を高くし, 対の関係にある 方略は離さず並べ, Antonymy (S2)と Paraphrase (S8) のように一方が他方に含まれ得る方略に関しては，操作の定義が狭い順に優先度を高くした。

## 4.2 翻訳方略体系

我々の翻訳方略（図 1）は, Chesterman の翻訳方略と同じ Syntactic strategy, Semantic strategy, Pragmatic strategy の 3 種類のメインカテゴリからな る. 各メインカテゴリの定義は次の通りである.

Syntactic strategy（13 種類のサブカテゴリ）: 意味に は触れず，表層上の操作だけを扱う方略.

Semantic strategy（9 種類のサブカテゴリ）: 一般常識, 言語学的な基本知識，与えられたテクスト内 の情報，当該ドメインにおけるエンティティ（出現している名詞要素）の属性やエンティティ間の 関係に関する知識に基づいて訳出できる方略.

Pragmatic strategy (10 種類のサブカテゴリ) : テクス ト外の情報を参照し，それを理由として発動され る方略.ここでいうテクスト外の情報とは，受信者（対象読者，潜在読者）の存在，発信者（依頼者，執筆者）と受信者（対象読者，潜在読者）の 関係などのコミュニケーション属性や，当該ドメ インにおける目標言語テキストの表記や表現およ び一般的なルールに関する知識である。

全 32 種のサブカテゴリを図 1 に示す. 優先度順 に並べることで，各メインカテゴリからただ一つの み方略が付与されるようにしてある.

## 5 検証

方略体系の構築時は，学習者向けの事例を扱い， 1 人のアノテータが方略の付与や整理を行なった. そこで，構築した翻訳方略体系が幅広いテクストタ イプに対応しているか，また，複数のアノテータ間 でも一貫して使用できるかを検証した。

## 5.1 体系の包括性

体系の包括性を検証するために，まず，方略体系 の構築時とは異なる対訳例を準備した.『翻訳の布石 と定石』 [11] からランダムに 47 例を選んだ. 構築時と同様に，翻訳方向が英日で，少なくとも原文と 訳例が揃っているものを選び，すべての対訳例に素朴訳を与えた。本書籍においても，説明対象箇所に は下線が引かれているが，下線が引かれていない箇所であっても, 素朴訳と適訳の間でテクスト上の違 いが見られる箇所は追加で下線を引き, 検証対象事例とした。その結果, 計 62 例の検証対象事例を得 た. 同様に，『第 29 回知的財産翻訳検定試験』の過去問題 [12] から, 問 2 の 18 事例を選び，参考回答例を適訳とみなしてそれに基づいてアノテータが素朴訳を作成した. “Lonely Planet”の旅行ガイド記事 [3] から 47 例, “University of Cambridge Judge Business School”のニュース記事 [4] から 38 例を抽出し, ア ノテータが素朴訳を作成し，翻訳会社において修正 された翻訳文を適訳とした。

個々の事例に対して, 方略体系の構築時と同じア ノテータが方略を付与した. その結果，下位分類を 列挙することにより, 各カテゴリがカバーすべき範井をより明確に記述することにした。

## 5.2 分類の一貫性

アノテータによらず一貫して方略を付与できるか を検証するために，方略体系の構築時とは異なるア ノテータ 1 名に方略の付与を依頼した。包括性を検証する際に使用した事例において特定の分野の専門性を必要としない,『翻訳の布石と定石』からの事例 をランダムで 31 例と, “Lonely Planet”の旅行ガイド 記事からの全 47 事例を用いた. これらに加えて，当該アノテータの専門である IT 分野の事例として,

『JTF ほんやく検定 公式問題集』 [10] から 67 例 を新たに抽出し，合計 145 事例を用いた。

各アノテータが付与した 435 件（145 事例 $\times 3$ メ インカテゴリ）のうち 408 件 (94\%) で 2 名の分類結果が一致した。不一致箇所は，原文が正しく理解 できていなかったことに起因する分類誤り，定義の 理解の違いに起因する分類の不一致や，方略体系の 構築時の定義では事例がカバーできていないことに 起因する分類誤りであった．定義の理解の違いに起因する付与の摇れは，お互いの認識を合わせるよう な話し合いによって解決された。一方，構築時の定義ではカバーできていなかった事例については，発生したテクスト上の違いを下位分類に追加すること で解決された。これによって，方略体系の構築時と は異なるアノテータであっても，一貫して方略を付与できるようになった.

## 6 まとめ

我々は，英日翻訳を対象とした翻訳方略体系を構築した. Chesterman の翻訳方略体系を土台とし，さ らにテクスト上の文法的要素の追加操作や削除操作 を示す方略, 分野や案件仕様を理由とする操作を追加し, Chesterman の翻訳方略体系で包含関係にある 方略を統合した. さらに，1 つの操作に対してカテ ゴリを 1 つのみ付与したり，アノテータによらず一貫して方略を付与したりできるように，優先度順を 定める決定リストを作成した。

今後は，翻訳教育現場や翻訳実務現場での利用を 想定して検証を進め，より包括性と一貫性が高い翻訳方略体系に改善していく。

謝辞：本研究の一部は科研費基盤研究 $(\mathrm{S})$ (課題番号：19H05660，代表:影浦峡)の支援を受けた。

## 参考文献

1. Andrew Chesterman. (2016). Memes of translation: The spread of ideas in translation theory. Amsterdam: John Benjamins.

2. Anthony Pym. (2018). A typology of translation solutions. The Journal of Specialised Translation, Issue30. Retrieved September 10, 2020, from https://www.jostrans.org/issue30/art_pym.php 3. Female solo travel: the best places to visit in Asia. Retrieved March 10, 2020, from https://www.lonelyplanet.com/articles/female-solotravel-asia

4. How effective is psychological targeting in advertising? What we can learn about you from just one click. Retrieved March 10, 2020, from
https://www.jbs.cam.ac.uk/insight/2017/how-effectiveis-psychological-targeting-in-advertising/

5. International Standard Organization (ISO). (2015). ISO 17100:2015. Translation services - Requirements for translation services. First edition.

6. Jeremy Munday. (2008). Introducing Translation Studies. Routledge. (ジェレミー・マンデイ. 鳥飼玖美子 (監訳）(2018）。『翻訳学入門』.みすず書房.)

7. Jeroen Bode. (2009). Translation Strategies for Japanese Reconsidering Chesterman's Theory on Translation Strategies. Outside the Box: The Tsukuba Multi-Lingual Forum, 2 (1), 15-21.

8. Jeroen Bode. (2009). Translation Strategies for Japanese - Part 2 Revisiting Chesterman's Theory on Translation Strategies. Outside the Box: The Tsukuba Multi-Lingual Forum, 2 (2), 17-23.
9. Masaru Yamada, Mayuka Yamamoto, Nanami Onishi, Atsushi Fujita, Rei Miyata, and Kyo Kageura. (2020). Metalanguage for the translation process. In Proceedings of the 5th Conference on Translation in Transition: Human and Machine Intelligence (TT5), 46-51.

10. 一般社団法人日本翻訳連盟 (2011).『JTF ほんや く検定 公式問題集』. 株式会社アルク.

11. 岡田信弘 (2013).『翻訳の布石と定石』. 三省堂. 12. 第 29 回知的財産翻訳検定試験【第 14 回英文和訳】 $>\ll 2$ 級課題》.(オンライン)(引用日: 2020 年 8 月 7 日 .) https://www.nipta.org/papers/20191020/29ip2_ques.pdf 13. 田辺希久子, 光藤京子 (2008).『プロが教える基礎からの翻訳スキル』。三修社.

14. 光藤京子 (2016). 『誤訳ゼロトレーニング』. 秀和システム。
表 1 Chesterman の翻訳方略体系と我々の英日翻訳方略体系の対比


# 言語専門職「リンギスト」の提案

西野 竜太郎
グローバリゼーションデザイン研究所
nishino@globalization.co.jp
}

山田優
関西大学
yamada@apple-eye.com

## 1 はじめに

本稿は、今後の産業翻訳を担う人材育成とその研究の必要性を提案する論考 (ポジションペーパー) である。翻訳業界における翻訳等の様々な多言語関連タスクを担う人を「リンギスト」と呼び、その新 たな職種を提案する。本稿では、その職務範囲とス キル、またその教育方法の確立のための研究につい て論じる。

## 1.1 背景

翻訳サービスを提供する産業翻訳において機械翻訳の活用が進んでいる。しかし機械翻訳の出力はそ のままでは不十分であるため、商品としての要求を 満たすレベルまで高めるには人手による補助が不可欠である。その補助を行う人がポストエディター あるいは後編集者である。この考え方は 1966 年の ALPAC 報告書 [1] にもあるが、1995 年に刊行され た長尾真氏らの書『コンピュータで翻訳する』でも 「機械翻訳システムの生産性を上げるには、後編集 を専門に行なう後編集者を養成すべき」[2] とある。 ただし、翻訳者が必ずしも後編集に適しているとは 限らない [2] としてはいるものの、やはり一般的に は翻訳者がポストエディターになることが期待され てきた。

しかし現状の課題は、ポストエディットの仕事に 既存の翻訳者が消極的 [3] という点である。大きな 理由の一つに翻訳者の職務意識がある。つまり、ポ ストエディットと翻訳は別であり、翻訳者が本来す る「翻訳」という職務に入らないと考えられてい る。「翻訳者とは翻訳をし、また翻訳をするのが翻訳者」と、職名（＝翻訳者）とスキル（＝翻訳）と が強固に結びつき、相互に連想される状態になって いるのだ。他方で、機械翻訳を扱う仕事はポストエ ディツトに限定されず、付随する作業や判断が求め られる。そのため、従来の職名とスキルとが密接に 絡みあった「翻訳者」や矮小化された意味での「ポ
ストエディター」という職種では、今の言語産業の 実情に対応できない。そこで、「翻訳者のような翻訳スキルを持ち合わせる専門職」を確立できれば、新たな課題を解決する糸口となり、言語産業を活性化する一方策になると考える。

## 1.2 「リンギスト」の提案

前述の通り、従来からポストエディターという専門職は提唱されてきたが、その名称は今後期待され る仕事の幅を狭めてしまう可能性がある。たとえば 機械翻訳システムに学習させる対訳コーパス構築に は、翻訳スキルも求められる。また適切に仕事を行 うための機械翻訳品質評価や機械翻訳エンジンの選択等も必要となる。

さらに、機械翻訳が直接関係しない業務にも翻訳 スキルが求められる場面はある。用語集作成や翻訳 メモリ管理などだ。大きく翻訳品質を左右する重要 な仕事であり、翻訳スキルが求められるにも関わら ず、これらは「翻訳の周辺作業」のように見做され てきた。しかしポストエディターという言葉と職種 にはこれらが含まれていない。

翻訳業界からも同様の意見が出ている。ポストエ ディットや機械翻訳エンジンの調整といった「翻訳 とは呼ばないけれど、翻訳者の資質を必要とする仕事」[4] をリンギストと呼んで職能を捉え直すのも よいという意見もある。そこで、翻訳スキルを持ち 合わせながらも、ポストエディットに限定されない 多言語関連タスクを広く担える専門職として「リン ギスト」という名称の利用と職種を提唱したい。つ まり、名称の提唱だけではなく、職務範囲や求めら れるスキルを同定し、教育方法を確立する研究も今後必要になると言える。

## 2 リンギストという言葉

元々の英語 linguist の辞書的な意味には（1）言語学者と (2) 複数言語に精通した人、という 2 つがあ る [5]。翻訳業界では後者から派生した「複数言語の
専門家」というニュアンスで使われることが多い。 たとえばイギリスの CIOL（The Chartered Institute of Linguists）では、翻訳、通訳、外国語教育などを専門にする人を認定している [6]。英語の linguist は包括的な職名としてすでに定着していると言える。

一方で日本国内でも、英語から作られたカタカナ 語「リンギスト」の使用が外資系企業を中心に見 られる。たとえば Lionbridge 社や SDL 社のような MLV では職種名として用いているし、Memsource や XTM のような翻訳管理システム（TMS）では、その UI（ユーザインターフェース）の役割名として設定 されている。つまり「リンギスト」というカタカナ 表記自体は全く目新しいわけではないため、日本国内において受け入れられる土壌はあるだろう。ただ し一般英語としての linguist との間に、意味やニュ アンスのギャップがある点には注意したい。

## 3 リンギストの射程

河野 [4] は、リンギストの仕事として「ポストエ ディット」や「機械翻訳エンジンの調整」、さらに 「コーパスのデータクレンジング」、「プリエディッ 卜」、「翻訳工程の生産技術」も挙げている。いずれ も機械翻訳と関係する作業だが、翻訳サービスのプ ロセス全体を眺めると、上記以外にも翻訳者の資質 を必要とする仕事はいくつも考えられる。筆者らの 翻訳産業における経験と、ISO 17100[7] のプロセス を念頭に置きつつ、リンギストの職務に入りうる仕事を挙げたい。リンギストは LSP（翻訳会社内）に いる場合だけでなくソースクライアント (発注企業内）にいるケースも想定している。なお実際にリン ギストが担当するかどうかは現場の判断や状況に よる。

## 3.1 翻訳プロジェクトにおける仕事

ISO 17100 のプロセスに沿ってリンギストの仕事を列挙する。翻訳の作業の前後のタスク (preproductuion、post-production）も射程としている。

## 3.1.1 原文制作段階

翻訳の質を高めるには、原文ライティング時点 からリンギストが関与することが望ましい。ISO 17100 では、付加価値サービスとして附属書 $\mathrm{F}$ に揭載されている一部項目に該当する工程である。下記 のライティング (テクニカルライティング) やイン ターナショナリゼーションも附属書 $\mathrm{F}$ に含まれて
いる。

ライティング 翻訳されることををあらかじめ考慮した原文で書く。原文の良し悪しで翻訳成果物の 質が左右されるためである。プリエディット、制限言語などとも関係する。

インターナショナリゼーション ローカリゼー ション（翻訳）しやすいコンテンツを制作する。テ キストを画像から分離しておく、など。

## 3.1.2 翻訳前段階（pre-production）

ISO 17100 ではセクション 4.6.3（翻訳仕様書の作成）で扱う段階である。

設計 求める成果物の仕様を決定する。使う参考資料（用語集、スタイルガイド、翻訳メモリーなど） の指定、検収時の評価方法や合否水準の指定など。

参考資料の制作 当該プロジェクトで使う用語集 やスタイルガイドなどを実際に準備する。

## 3.1.3 翻訳段階

ISO 17100 ではセクション 5 (production process) に包含される段階であるが、一部の項目（プリエ ディットとポストエディット）は付加価値サービス

機械翻訳システムの調整 当該プロジェクト用の アダプテーション作業など。

プリエディット 機械翻訳システムが性能を発揮 できるように原文の編集。

翻訳 翻訳の実作業。機械翻訳出力を利用した翻訳（ポストエディット）も含まれる。

チェック 訳文の品質を保証する。LQA（Linguistic Quality Assurance）とも呼ばれる。言語面の確認に加え、文化面も対象になることがある。チェッ ク、校正、校閲などが含まれるが、ISO 17100 ではセ ルフチェック、バイリンガルチェック、モノリンガ ルチェック、プルーフリードは異なるステップとし て定義されている。

言語品質評価 最終納品物の検収や中間納品物の 確認で実施する品質評価。

## 3.1.4 翻訳後段階

ISO 17100 に規定はないが、一部（DTP やウェブ のデザイン、字幕など）は付加価值サービスとして 附属書 $\mathrm{F}$ に掲載されている。

多言語デザイン 訳文が組み込まれた製品の見 た目を整える。DTP、アプリ、ウェブ、ビデオ字幕

など。

多言語ユーザー評価 訳文が組み込まれた最終製品の使いやすさなどを評価。

## 3.2 定常業務における仕事

特定の翻訳プロジェクトではなく、日常的に実施 する定常業務の仕事もリンギストの職務の射程に入 る。ISO 17100 の付加価値サービスとして附属書 F に記載されている項目も含まれる（たとえば専門用語管理やアラインメント)。

言語品質評価 応募されたトライアル課題などを 評価する。

用語集やスタイルガイドの維持管理 特定の分野や顧客で用いる用語集やスタイルガイドを整備 する。

言語資産の維持管理 翻訳メモリーのアラインメ ントや対訳コーパスの整備する。

機械翻訳システムやツールのチューニング機械

調整する。エラー定義ファイルの修正や、特定分野 の機械翻訳システムのアダプテーションなどが含ま れる。

機械翻訳システムやツールの評価や選定言語成果物の質を高められるツールの評価や選定。機械翻訳システム、翻訳支援ツール、TMS、QAツールな どが対象。

人材育成 翻訳者やチェッカーなどの人材を育成 するために、資料やツールの使い方を教えたり、納品物にフィードバックしたりする。

繰り返しになるが、上記の範囲はあくまで暫定的 な提示であり、今後の研究を通して調整や詳細化を することになる。

## 4 必要になるスキル

リンギストの職務に対し、どのようなスキルや能力が実際に必要になるかは、今後の研究が必要とな る。たとえば EMT (European Master's in Translation) の枠組みなどとの比較検討も求められる。 リンギストは専門職を想定している。ここで挙げ た職務自体はリンギスト固有のものではない。現状 ではプロジェクト・マネージャーやセールス担当者 が行っているものとの重複もあろう。しかし、理想 は翻訳・言語的スキルを兼ね備えたリンギストが担 うべきであり、翻訳＋ $\alpha$ のスキルが必要となろう。

## 5 おわりに

機械翻訳の利用が進む中で、「翻訳者」の仕事に 限定されず、十分な言語・翻訳スキルを兼ね備えた 言語専門職が確立することは今後の産業にとって望 ましい。機械翻訳の訳出を後編集するポストエディ ターの概念も包含しつつ、その範疇を超えた多言語関連タスクを担える「リンギスト」という職名を提唱した。またその職務範囲や必要スキルの調査研究 を進めることも提案した。今後、とりわけ機械翻訳 の開発者と実務者が共同し、機械翻訳活用（アダプ テーションなど）の評価や実施を行っていく機会も 増えていくと想像される。リンギストのような職種 が活躍する場も増えるに違いない。

## 6 謝辞

本研究の一部は、日本学術振興会科研費補助金基盤研究（S）「翻訳規範とコンピテンスの可操作化を通した翻訳プロセス・モデルと統合環境の構築」（研究課題番号：19H05660）の支援を受けて行 われた。

## 参考文献

[1] Automatic Language Processing Advisory Committee. Language and Machines: Computers in Translation and Linguistics. National Academy of Sciences, 1966.

[2]長尾真, 牧野武則（編著）.コンピユータで翻訳する。共立出版, 1995.

[3] 山田優. 誰がポストエディターになるのか？翻訳研究への招待, Vol. 9, , 2013.

[4] 河野弘毅. 機械翻訳の時代に活躍できる人材になる ために. 通訳翻訳ジャーナル, Vol. SPRING, pp. 36-38, 2019.

[5] Oxford University Press. linguist: Oxford advanced learner's dictionary, (2020-12-10 閲 覧）. https://www.oxfordlearnersdictionaries.com/ definition/english/linguist.

[6] Chartered Institute of Linguists. Become a chartered linguist,（2020-12-10 閲覧）. https://www.ciol.org.uk/ chartership.

[7] ISO. ISO 17100:2015 translation services - Requirements for translation services, 2015. https://www.iso. org/standard/59149.html.


# 人と言語モデルが捉える文の主題

藤原吏生 ${ }^{1}$ 栗林樹生 ${ }^{1,2}$ 乾健太郎 1,3
}

1 東北大学 ${ }^{2}$ Langsmith 株式会社 ${ }^{3}$ 理化学研究所

riki.fujihara.s4@dc.tohoku.ac.jp, \{kuribayashi, inui\}@ecei.tohoku.ac.jp
## 1 はじめに

(1) a. 兄は部屋に向かった。 b.兄が部屋に向かった。

二つの文は論理的に同等であるが，文脈や何につい てメッセージを伝えたいか（主題）といった観点か ら人はこの二文を使い分ける．例えば，「兄がさっ き帰ってきた。」というような兄に関する話に続く 文であれば例 1a の方が自然であるし，単に兄が何 をしたか客観的に描写するのであれば例 $1 \mathrm{~b}$ の方が 好まれるだろう。このような先行文脈に依存する 選択において計算モデルと人の判断に乘離がある か，近年流暢な文章の生成が可能になったとされる ニューラル言語モデルに焦点を当てて調査する.

本研究では，文章の形成や評価において重要な側面である文の主題を取り上げる $[1,2]$. 日本語の係助詞「は」は主題であることを表し [3], 例 1 の二つ の文は「兄」が主題か否かという点で異なる. ある 要素を主題化するかの判断には，情報の新旧 [4] や センタリング理論 [5] などの観点から先行文脈を考慮する必要があるとされている $[3,6]$. 文の主題の 観点で言語モデルが人と同様の選択を行えるかを分析することで，言語モデルの文章生成における先行文脈の影響について考察する。

文の主題は英語では語順で示されるが [2], 日本語では係助詞「は」などによって明示され，その範囲を策定しやすいため日本語で研究を行う．はじめ に，クラウドソーシング1)を活用し，NAIST テキス トコーパス（NTC）[7] 中の主格に対して人の「は」 と「が」の判断に関するアノテーションを行った。「は」と「が」の対立には主題と非主題といった対立以外にも，対比と排他，節末まで係るか文全体に係 るかといった様々な軸がある $[3,6,8]$. NTC の共参照アノテーションや先行文脈を見せる/見せないこ

1）Yahoo!クラウドソーシング https://crowdsourcing.yahoo. co.jp/を利用した。また，毎日新聞社に許可を得て NAIST テ キストコーパス中の文をワーカに見せている.

図 1 人と言語モデルによる「は」と「が」の選択

とによる人の判断の変化から，「は」と「が」の選択 について特に文脈が依存するデータポイントを収集 し，言語モデルの評価に用いた。

実験では，文脈依存の「は」と「が」の選択につ いて，人とニューラル言語モデルの傾向を比較し た (図 1).人と言語モデルの選択の相関は高く，言語モデルは人と近い選択を行うことができていた. しかしながら，インスタンスごとの判断の不一致度 (agreement error) [9] や先行文脈の有無による判断の 変化といった観点から分析を行うと，人と言語モデ ルの間に乘離が観察され，特に言語モデルは先行文脈を見なくても人と比べて不当に高精度な選択がで きていた。これらの結果から，「は」と「が」の選択について言語モデルは人と近い選択が可能であ るが，判断の拠り所は両者で異なるということが示唆された. 本研究で作成したデータセットは公開す $る^{2)}$.

## 2 関連研究

選択体系機能文法では，主題は「心理的主語」と して「話者が伝えたいことの産出にとりかかる時に まず心の中にもつもの」と定義され [2]，文法的な主

次の文の下線部 _—に入る助詞としてより自然だと思うものを選んでください。

親戚の子供たちが遊びに来ました。子供たち——外でサッカーをしています。

が

○ は

○どちらでも良い (この文では判断できない)

図 2 クラウドソーシングにおける設問の例.

語とは異なるものである ${ }^{3)}$. 文章の形成や評価にお いて，主題の構造は結束性などと並び重要な側面で あるとされている $[1,2]$. また，例 1 のような「は」 と「が」の使い分けは日本語学習者にとって難しい とされており [10], 計算モデルが自然に使い分けら れるのであれば，ライティング支援，学習者支援に も繋がる. 更に日本語では主題が省略される傾向も あり，どの要素を主題とするのが自然かといった自動評価は，どの要素を省略すると自然かといった研究・評価にも繋がると考えられる。

言語モデルによる文章の容認性判断に関する既存研究では，文レベルの文法性判断や $[11,12,13,14]$,論理的な能力 $[15,16]$ に焦点を当てた分析が多い.一方で，言語モデルの分析の文脈で文の主題に直接焦点を当てた研究は我々の知る限り存在しない.

## 3 データ作成

## 3.1 クラウドソーシング

NTC [7] 中の以下の条件を全て満たす主格をアノ テーション対象とした。

・文内で最も後方に出現する動詞の主格である

・格助詞「が」または係助詞「は」を伴う

・各文章の先頭から 2-4 文目に出現する

上の条件を満たした主格について付随する助詞を 隠し，クラウドワーカーに「は」と「が」のどちら を使用するのが適切か聞いた（図 2).「どちらでも よい(この文では判断できない)」という選択肢も用意した。それぞれの主格について，（i）同一文章内 の先行文脈を全て見せる場合と（ii）文脈を見せな い場合（特定の文脈を想像しない）の 2 つの設定で アノテーションをした. 両設定では異なるワーカが アノテーションをしている．また，ある問題につい て文脈ありの設問を解いた後，同一の文脈なしの設問を解くということが生じないようにした.

 & ラベル数 \\

事前に同様のタスクを複数回実施して優秀なワー カを選別し，さらにチェック設問を設定して不適切 なラベルを付与するワーカを適宜除外した. この時点で 234 人のワーカから，各主格，各設定（文脈の 有無）に対して 8 人のラベルを得た. さらに統計的後処理4) により信頼度下位 $30 \%$ のワーカを除外し,結果的に 3 人以下のラベルしか付与されていない データポイントも除外した. 最終的に 1,562 の主格 に対して，文脈の有無の両設定それぞれで平均 6 人 から, 計 18643 ラベルが付与された. 得られたデー タセットにおけるアノテーション一致度はクリッぺ ンドルフの $\alpha$ で 0.694 であり，信頼可能なデータの 一致度の下限とされる 0.667 を超えている [18].

## 3.2 サブセットの作成

1 節で言及したとおり，「は」と「が」の対立には 主題か非主題かという軸だけでなく，対比を表すか 排他を表すか，判断文であるか現象文であるか，ど こまで係るかなどの様々な対立が内包されている $[3,8]$. 先行文脈で既に言及された要素は主題になり やすくなる（関連の主題）という，文脈依存の傾向 が反映されたデータを収集するため，以下の条件を 全て満たす主格を文脈依存の「は」として収集した。

・NTC 上で「は」を伴っていた.

・共参照アノテーション上で，主格の要素が先行文脈において既出である。

・文脈を見せることで，「は」と答える割合が $15 \%$ よりも上昇した.

上記条件を満たさずコーパス上で「は」を伴ってい たデータポイントの集合については文脈非依存の 「は」，コーパス上で「が」を伴っていたデータポイ ントの集合については「が」全体と呼ぶ. サブセッ トの統計を表 1 に示す.

作成したサブセットごとにデータの例を示す。ま た，必要に応じて先行文脈を灰色で，アノテーショ ン対象の主格を太字で載せる。

4）MACE [17]を用いて各アノテータの信頼度を計算した.

## 文脈依存の「は」の例

(2)十万円が当たった。暮れ息子が買ったジャン ボ宝くじの二十枚連番の一枚である。昨日、息子はテレビでの当選番号と照らし合わせなが ら、「三千六百円になるから、お母さんにあげ る」と言っていた。

毎日新聞記事データ集 1995 年版

例 2 では，主格の要素である「息子」が先行文脈に 出現している. このように先行文脈に出現した要素 やそれに関連するものは「は」を伴って主題になり やすいことが知られている [3].

## 文脈非依存の「は」の例

(3)民法九 $\bigcirc$ 条は、非嫡出子の相続分について 「嫡出子の二分の一とする」と定めている。

毎日新聞記事データ集 1995 年版

例 3 は主格の要素である「民放九○○条」について 解説をする文となっている。このように主格名詞に ついて解説 (措定) するときには「は」を伴う [19].

## 「が」全体の例

(4)ペソの暴落でメキシコ経済の混乱が続いてい る。北米自由貿易協定、中南米諸国だけでな く、日本や欧州企業にも影響が及び始めた。

毎日新聞記事データ集 1995 年版

例 4 は「メキシコ経済の混乱によって影響が及ぶ」 という現象を表した文である。現象をありのまま，判断の加工を施さないでそのまま表現した文を現象文と呼び，「が」を伴う [20]. 他にも排他の「が」な ど，様々な用法の「が」がこのサブセットに属する。

## 4 実験設定

言語モデル パラメータ数の異なる 2 つ Transformer ベースの言語モデル [21] (400M パラメータの TRANS-L と 55M パラメータの textscTrans-s）と LSTM ベースの言語モデル [22]（LSTM）について，「は」 と「が」の選択の傾向を分析する。言語モデルは文章レベルであり，学習データは約 300 万の新聞記事 から成る ${ }^{5)}$. 言語モデルへの入力は，JUMAN[23] で 形態素に分割したのち sentencepiece[24] でサブワー ドに分割した ${ }^{6)}$.

指標 3 節で作成した各インスタンスは， $\left(c, s_{\text {は }}, s_{\text {が }}\right)$

5）言語モデルの訓練に用いたデータは，3.1 節で作成した評価 データと重複しない。

6） Unigram モデル [25]を用いた（character coverage $=0.9995$, vocab size $=100000$ )
の三つ組で表される. ただし， $s_{\text {は }}$ と $s_{\text {が }}$ は分析の対象となる主格が「は」または「が」を伴う文であり， $c$ は同一文章内の先行文脈である．各インスタンス における「は率」 $r_{\text {はを人と言語モデルに対して以下 }}$ のように計算する.

$
r_{\text {は }}=\frac{p\left(s_{\text {は }}\right)}{p\left(s_{\text {は }}\right)+p\left(s_{\text {が }}\right)}
$

ただし $p\left(s_{\text {は }}\right)$ および $p\left(s_{\text {が }}\right)$ は，人の場合何人中何人 が「は」または「が」が自然であると判断したかの 割合7) であり，言語モデルの場合 $s_{\text {はま }}$ および $s_{\text {が }}$ に対 する生成確率である. $r_{\text {はが大きいほど「が」ではな }}$ く「は」が自然であると判断した割合が高いという

確信度の指標と考えられる。

また，文脈 $c$ を見せて（入力して）得られた $p\left(s_{\text {は }}\right)$ および $p\left(s_{\text {が }}\right)$ を元に計算した「は率」を $r_{\text {は }}^{\text {ctx }}$ ，文脈 を見せない場合で得られた「は率」を $r_{\text {奻_ctx }}^{\text {woct }}$ と別 する.人および各言語モデルについて，各インスタ ンスにおける文脈の影響を $\Delta_{\text {は }}=r_{\text {は }}^{\text {ctx }}-r_{\text {は_ctx }}^{\mathrm{wo} c \text { とす }}$ る. $\Delta_{\text {は }}$ が大きいインスタンスほど，文脈を見るこ とにより「は」を伴うと判断するようになった度合 いが高いインスタンスであると言える.

## 5 実験 1: 文脈依存の「は」の傾向

はじめに，3.2 節で作成した文脈依存の「は」のサ ブセットについて人と言語モデルの傾向を分析する (表 2). 各言語モデルが各インスタンスに付与した $r_{\text {は }}^{\text {ct }}$ と $\Delta_{\text {は }}$ について, ワーカから得られた值との順位相関係数を報告する。 $r_{\text {は }}^{\text {ctx }}$ の相関は,「は」か「が」 を選択する際の確信度の強さにおける人らしさを示 す. $\Delta_{\text {は }}$ 相関は，「は」と「が」の選択に及ぼす文脈の影響が人と言語モデルで似ているかを示す.

また，NAIST テキストコーパス上で主格に対して 用いられていた助詞を正しい助詞 8 ) とみなした場合 の正解率も報告する. 人の正解率は各インスタンス に付与されたラベルのうち正しい助詞（本実験では 「は」）を選択できたものの割合とし，言語モデルの 正解率は正しい助詞に対して高い確率を付与できた インスタンスの割合とした. 文脈を見せた場合と見 せない場合でそれぞれ正解率を計算した。

文脈ありの正解率を見ると人と言語モデルが同程度の値を示しており，およそ $90 \%$ という高い精度

表 2 文脈依存の「は」の選択傾向

 &  &  &  \\

で「は」と「が」の選択が可能であった。一方で表 2 中の文脈なしの正解率と文脈ありの正解率の比較 より，人は文脈を見ることで正解率が 12 ポイント 上がっているにも関わらず，言語モデルは先行文脈 をみても正解率がほとんど変わらないことが確認さ れた. 特に文脈を見ない場合の言語モデルの正解率 が人よりも 10 ポイント程度高く，人が認識してい ないような文内の何らかの特徵量を手がかりに言語 モデルが「は」と「が」の選択を行っていることが 示唆された ${ }^{9)}$.また,$r_{\text {は }}^{\text {ctx }}$ の相関が弱いことから人 と言語モデルの間のある種の選択の確信度が異な り， $\Delta_{\text {は }}$ 相関がないことからも文脈の考慮の仕方 に乘離があることが分かる。つまり，言語モデルは 正しく「は」と「が」の選択が行えているものの， その選択をする要因は人と異なることが示唆され る.このような乘離は，言語理解タスクにおいて回答に十分な情報が提供されなくても解けてしまう問題 [26] や，人に認識不可能な特徵量（敵対的事例） の存在 [27] と類似する問題と考えられる。

本実験で確認された「は」と「が」の選択におけ る乘離は，クラウドワーカによる複数人のアノテー ションや文脈が存在しない場合の判断といったコー パス上に表出されない情報によって明らかになった 結果であり, 本データセットの作成に意義があった ことを強調したい。なお言語モデル間の差について は， $r_{\text {は }}^{\text {ctx }}$ の相関において LSTM が比較的人に近いと いう観察が得られた。

## 6 実験 2: コーパス全体の傾向

5 節では文脈依存の「は」のサブセットについて 分析したが，最後に 3 節で作成したデータセット全体についても，人と言語モデルの傾向を分析する (表 3). 文脈なしの正解率と文脈ありの正解率を比較すると, 人も言語モデルも文脈の有無による正解率の変化は小さく，データセット全体としては「は」 と「が」の選択は文内の情報のみで可能であること

9）言語モデルだけが文脈を見ずに正解できたインスタンスを 付録に示す.表 3 「は」と「が」の選択傾向 (データセット全体)

 &  &  &  \\

が示唆された.この結果は「は」と「が」の使い分 けにしばしば情報の新旧といった談話レべルの概念 が持ち込まれることと対照的であり，談話レベルの 判断が必要な状況は実際のコーパス上では少数であ る可能性，文脈を見せない設定においても文内の情報から人が適当な文脈を復元できている（例えば代名詞の使用から情報の新旧の予測がつくなど）可能性を含めて今後さらに調査したい.

$r_{\text {は }}^{\mathrm{ctx}}$ の相関はどの言語モデルでも 0.79 以上と， データセット全体においては人と言語モデルの選択 の確信度の強さに高い相関があることが確認され た ${ }^{10)}$. 表 2 の $r_{\text {は }}^{\text {はtx }}$ の相関は弱かったことを踏まえる と，言語モデルは「は」と「が」のどちらが自然か という粒度の選択においては人と近い傾向がみられ るが，「は」を選択する際にどれくらいの確信度で 選択しているかという側面では人と傾向に乘離があ ると考えられる (付録図 3)． $\Delta_{\text {は }}$ の相関はなく, 5 節 の結果と一貫して，人と文脈の考慮の仕方に乘離が あることが確認された。

## 7 おわりに

本研究では，談話レベルの文脈に依存する系列的 な選択における言語モデルと人の判断について分析 を行い，乘離があることを示した。「は」か「が」と いう選択においては言語モデルは人よりも正確な選択が行えるが，先行文脈の情報に依存した選択を行 わないという点で人と乘離がみられた。これは言語 モデルと人の「は」と「が」の選択の拠り所が両者 で異なるということである．今後は，言語モデルが 文内および先行文脈のどの部分の情報を頼りに系列的な選択を行うのかを調査していきたい。

## 謝辞.

本研究は JSPS 科研費 P19H04162 の助成を受けた ものです.また，データセットの作成にあたり毎日新聞記事データ集 1995 年版の使用を許可していた だいた毎日新聞社に感謝します。

10）人と言語モデルの $r_{\text {は }}^{\text {ctx }}$ の相関が高かったインスタンスを付録に示す.

## 参考文献

[1]Michael Alexander Kirkwood Halliday and Ruqaiya Hasan. Cohesion in english. Longman, 1976.

[2]Michael Halliday, Christian MIM Matthiessen, and Christian Matthiessen. An introduction to functional grammar. Routledge, 2014.

[3]野田尚史.「は」と「が」. くろしお出版, 1996. [4]松下大三郎. 標準日本口語法. 中文館書店, 1930.

[5]Barbara J Grosz, Aravind K Joshi, and Scott Weinstein. Centering: A framework for modelling the local coherence of discourse. Computational Linguistics, 1995.

[6]砂川有里子. 文法と談話の接点. くろしお出版, 2005.

[7]Ryu Iida, Mamoru Komachi, Kentaro Inui, and Yuji Matsumoto. Annotating a japanese text corpus with predicate-argument and coreference relations. In Proceedings of the linguistic annotation workshop, pp. 132-139, 2007.

[8]日本語記述文法研究会. 現代日本語文法 5 とりた て・主題. くろしお出版, 2009 .

[9]Suhas Arehalli and Tal Linzen. Neural language models capture some, but not all, agreement attraction effects, Feb 2020.

[10]孟玲秀. 『日本語教育における「は」と「が」の 教授法』——国人学習者に対する日本語教育 の場合—. 2004.

[11]Tal Linzen, Emmanuel Dupoux, and Yoav Goldberg. Assessing the ability of lstms to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 521-535, 2016.

[12]Jey Han Lau, Alexander Clark, and Shalom Lappin. Grammaticality, acceptability, and probability: A probabilistic view of linguistic knowledge. Cognitive Science, Vol. 41, No. 5, pp. 1202-1241, 2017.

[13]Jey Han Lau, Carlos S Armendariz, Shalom Lappin, Matthew Purver, and Chang Shu. How furiously can colourless green ideas sleep? sentence acceptability in context. arXiv preprint arXiv:2004.00881, 2020.

[14]Alex Warstadt, Alicia Parrish, Haokun Liu, Anhad Mohananey, Wei Peng, Sheng-Fu Wang, and Samuel R Bowman. Blimp: The benchmark of linguistic minimal pairs for english. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 377-392,
2020.

[15]Xuhui Zhou, Yue Zhang, Leyang Cui, and Dandan Huang. Evaluating commonsense in pre-trained language models. In AAAI, pp. 9733-9740, 2020.

[16]Gregor Betz, Christian Voigt, and Kyle Richardson. Critical thinking for language models, 2020.

[17]Dirk Hovy, Taylor Berg-Kirkpatrick, Ashish Vaswani, and Eduard Hovy. Learning whom to trust with mace. In Proceedings of NAACL, pp. 1120-1130, 2013.

[18]Klaus Krippendorff. Content Analysis: an Introduction to its Methodology. Sage publications, 2004.

[19]三尾砂. 國語法文章論. 三省堂, 1948.

[20]三上章. 現代語法序説ーシンタクスの試みー. 刀江書院, 1953.

[21]Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, pp. 5998-6008, 2017.

[22]Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[23]Daisuke Kawahara and Sadao Kurohashi. Case frame compilation from the web using high-performance computing. In Proceedings of LREC, Genoa, Italy, May 2006. European Language Resources Association (ELRA).

[24]Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In EMNLP, pp. 66-71, 2018.

[25]Taku Kudo. Subword regularization: Improving neural network translation models with multiple subword candidates. Proceedings of ACL, 2018.

[26]Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel R Bowman, and Noah A Smith. Annotation artifacts in natural language inference data. arXiv preprint arXiv:1803.02324, 2018.

[27]Andrew Ilyas, Shibani Santurkar, Dimitris Tsipras, Logan Engstrom, Brandon Tran, and Aleksander Madry. Adversarial examples are not bugs, they are features. In Advances in Neural Information Processing Systems, pp. 125-136, 2019.

(a) 文脈依存の「は

(b) データ全体

図 3 人と言語モデル (TRANS-L) の $r_{\text {は }}^{\text {はt }}$ の相関. 1 プロットが 1 インスタンスを表す.

表 4 人と言語モデルの「は」と「が」の選択傾向

## A インスタンス例

## 人と言語モデルの $r_{\text {はt }^{\text {ct }}$ 相関が高かったインスタンス}

(5)受験生に試練の季節がやってきた。十四日、日本海側が大雪に見舞われたなか始まった大学入試センター試験。今年の受験者は女子が大幅に増えるなど過去最多となった。

毎日新聞記事データ集 1995 年版

(6)三日未明から夕方にかけて北海道、東北地方で三陸はるか沖地震の余震とみられる地震が四回あった。午前一時四十二分ごろ、東北地方の一部で地震があった。

毎日新聞記事データ集 1995 年版

## 言語モデルだけが文脈を見ずに正しい助詞を選択できたインスタンス

(7) 4 歳の孫を連れておそば屋さんへ入りました。鍋焼きうどんを取って 2 人で食べました。孫は必死になって食べま したが、とても食べ切れません。

毎日新聞記事データ集 1995 年版

(8)七日は、無病息災を願う「春の七草」の日。大阪・キタの阪神百貨店では、午前八時から七草がゆの無料サービス を行い、サラリーマンや若い女性たち、剣道の早朝練習帰りの中学生らが季節の味覚を楽しんだ。用意した五百食は約一時間でなくなった。

毎日新聞記事データ集 1995 年版


# 質問応答に基づく日本語ゼロ代名詞同定

岩田 晟
渡辺 太郎
奈良先端科学技術大学院大学
\{iwata.sei.is6, taro\}@is.naist.jp

## 1 はじめに

日本語や中国では，文中の主語や目的語などの構成要素が省略されることがあり，このような省略を ゼロ代名詞という．例えば，日英翻訳タスクにおい て日本語側の省略を補完する必要があり，結果とし て，このような省略は自然言語処理の応用タスクへ と大きな影響を与える。

近年では共参照解析やNER などを質問応答 (Question Answering,QA) の一つである SQuAD 形式〉iteSQuAD のスパン予測問題をとして捉える研究がある [1][2].

本研究ではゼロ代名詞検出および同定タスクを QA タスクとして捉えた手法を提案する. 動詞また は形容詞をクエリとし, その単語 (クエリ)を主辞と する節において省略された構成要素の種類およびそ の節の開始位置と終了位置を予測する. 句構造情報 がアノテーションされた NPCMJ[3] を用いたゼロ代名詞同定タスクにおいて，BERT[4]を用いた系列ラ ベリングの手法と比べ, 提案手法は $\mathrm{F} 1$ 值で 2.2 ポイ ントの向上が確認できた.

## 2 関連研究

植田 ら [5] は BERT[4] を用いた述語項構造解析・共参照解析・橋渡し照応解析の同時学習を提案した. Konno ら [6] は BERTを用いた Data Augmentation を 行うことで，ゼロ照応解析の精度を向上させた.

Song ら [7] は，句構造の関係を利用し，BERTを 用いてゼロ代名詞検出をサブタスクにしつつ, ゼロ 代名詞の同定とゼロ照応解析を同時学習を行った. この手法では自己注意機構を用いて, 照応先の開始位置と終了位置を予測することでゼロ照応解析 とした. Aloriani ら [8] と Aloriani ら [9]の研究では,句構造情報を踏まえて, BERT-base Multilingual $の$ 埋 め込みを多層パーセプトロンの入力として用いる ことで，ゼロ代名詞同定とゼロ照応解析を行った. Takeno ら [10] は句構造構文情報の様々な素性を用

\author{
永田 昌明
}

NTTコミュニケーション科学基礎研究所 masaaki.nagata.et@hco.ntt.co.jp

いることで，ゼロ代名詞検出を行った。

Devlin ら [4] は BERTを利用して，QAタスクにお いて質問とそれに対応する応答見つけるために，質問と文書を入力に文書の中から応答のスパンを予測 した. Li ら [2] は NERのタグに対応する質問文を生成し，その質問と文を入力とすることで entity のス パンを予測することで Nested NER の問題に対応し た. Wuら [1] は参照先をとうような質問を生成する ことでを共参照解析として捉えた手法を提案した。

## 3 スパン予測を用いたゼロ代名詞同定

本研究では，入力文における動詞や形容詞をクエ リとし，クエリを主辞とする節にゼロ代名詞が存在 するか，また，節に対応するスパンを予測するタ スクとして定式化する. 入力文 $\boldsymbol{X}=\left.\{x_{1}, x_{2}, \ldots, x_{n}\right.\}$ とすると，とその文内のクエリー $x_{q}$ を与え， そのクエリを主辞とする節に対応するスパン $\left.\{x_{i}, \ldots, x_{j}\right.\}, 1 \leq i \leq j \leq n$ を予測する.

例えば，「宿題をすると私は決意した.」を入力文，動詞である「する」がクエリーとして与えら れた場合，主語が省略されている節のスパン「宿題 をする」を予測する。一方で「決意」がクエリーの 場合，これを主辞とする節「〜と私は決意した.」に は省略がないため，クエリを主辞とする節にはゼロ 代名詞がないと予測する.定式化したタスクに対して，BERT[4]を用いた。

## 3.1 スパン予測を用いたゼロ代名検出

入力はこのクエリー $x_{q}$ とそのクエリーが含まれ る文 $X$ である．具体的には二つの入力を特殊文字 $[C L S]$ と $[S E P]$ を用いて, 次のよう形式で BERT に与える.. $\left.\{[C L S], x_{q},[S E P], x_{1}, x_{2}, \ldots, x_{n}\right.\}$ ここで $[S E P]$ を基準にこれらの入力を基に， $[S E P]$ 以降の $i$ 番目のトークンに対して，スパンの開始確率 $S_{i}$ と スパンの終了確率 $E_{i}$ を予測する. $[C L S]$ の位置を ゼロ代名詞がない場合に対応させ, $S_{[C L S]}$ と $E_{[C L S]}$ は，与えらた文にゼロ代名詞がない確率を表す。 ス

パンの開始確率 $S_{i} \in \mathbb{R}$ は Devlin らの SQuAD v2.0の 手法 [4] と同様，次のように BERT の Encoder の最終層の埋め込みである $T_{i} \in \mathbb{R}^{n}$ を線形層に通して計算される。

$
S_{i}=\operatorname{softmax}\left(T_{i} W_{S}^{\top}+b_{S}\right)
$

ここで重み $W_{S} \in \mathbb{R}^{1 \times n}$, バイアス $b_{S} \in \mathbb{R}$ である. また, 終了確率 $E_{i}$ も同様に求める. 予測の開始位置と終了位置が $1 \leq i \leq j \leq n$ の時, これらの確率を 用いてスパンのスコア定義は次のようにする。

$
\text { Score }_{i}, E_{j}=\log S_{i}+\log E_{j}
$

このスコアが最大となる区間にゼロ代名詞 が存在すると予測する。一方で, 文中にゼ 口代名詞がないスコアは [CLS] に対応する Score $_{\text {null }}=$ Score $_{S_{[C L S]}, E_{[C L S]}}$ とする. そのため, max $_{j \geq i}$ Score $_{S_{i}, E_{j}}<$ Score $_{\text {null }}$ のときは，与えられ た文にはゼロ代名詞がないと予測する.

学習時の損失関数はクロスエントロピーを用いる. そのため, 正解の開始位置と終了位置が $i^{\prime}, j^{\prime}$ のと き，次のように対数尤度の和として定式化できる。

$
\text { loss }_{\text {span }}=-\log S_{i^{\prime}}-\log E_{j^{\prime}}
$

## 3.2 ゼロ代名詞クラス分類

3.1 節ではゼロ代名詞検出の二値分類であったが， ゼロ代名詞同定を行うためにクラス分類を行う1). $[C L S]$ に対応する BERT の Encoder の最終層の埋め 込み $T_{-1} \in \mathbb{R}^{n}$ はクエリーと文の二つの入力が考慮さ れた埋め込みとされている。

この $T_{-1}$ を用いて， ゼロ代名詞の num $_{\text {label }}$ 種類の クラスに対する確率を求める. 重み $W_{\text {label }} \in \mathbb{R}^{2 \times d}$ とバイアス $b_{\text {label }} \in \mathbb{R}^{\text {num label }}$ を用いて次のように表 せる.

$
\begin{aligned}
H & =\operatorname{dropout}\left(T_{-1}\right) \\
P_{\text {label }} & =\operatorname{softmax}\left(H W_{\text {label }}{ }^{T}+b_{\text {label }}\right)
\end{aligned}
$

学習ではクロスエントロピーロスと正解のゼロ代名詞クラスを用いて，損失 loss label 計算する.

## 3.3 同時学習によるゼロ代名詞同定

本研究では, 3.1 節と 3.2 節のそれぞれのタスクを 同時に学習することで, ゼロ代名詞の同定を行う.学習時の損失関数は次のように定義される.

$
\text { loss }_{\text {total }}=\alpha \text { loss }_{\text {span }}+(2-\alpha) \text { loss }_{\text {label }}
$
 クラスは述語の下位範疇に相当する.

表 1 データセットの内訳

ここで， $\alpha$ は $0<\alpha<2$ の間の値を取ることで，各 タスクの損失関数に重みをつけるハイパーパラメー タである． 3.1 節のスパン予測にて省略が存在する とされたものを，3.2 節のタスクで予測したラベル のゼロ代名詞が省略されているとする。一方で，3.1 節のスパン予測にて省略がないと予測された場合 は，このクエリを主辞と仮定したゼロ代名詞がない とする。

## 4 実験

## 4.1 実験データ

本実験のデータとして NINJAL Parsed Corpus of Modern Japanese（NPCMJ）[3]を用いる. NPCMJ は ゼロ代名詞の情報を持つ欅ツリーバンク [11]を拡張 したもので，青空文庫やニュースなどから成る約 4 万文に対して句構造がアノテーションされたコー パスである。ゼロ代名詞は，述語を主辞とする節 (inflectional phrase, IP) の最初の構成要素としてアノ テーションされる.このアノテーションされた構文情報を用いて主辞が動詞 (VB) または形容詞 (ADJN) であり，ゼロ代名詞の有無にかかわらず全ての節を 対象にクエリーを作成する。データセットは文単位 で train : dev : test = 8:1:1 で分割を行う. データセッ トの各述語におけるゼロ代名詞の有無の件数と割合 は表 1 のとおりである.

実験では, NPCMJでアノテーションさているゼロ 代名詞の種類のうち, *pro*,*speaker*,*hearer $*, * T *$ を用い，それ以外は etc に置き換える。構文情報の アノテーションのうち，SBJに関するものは SBJ, OB1 や OB2 などの OBJ に関するものは OBJ，それ 以外は Other タグに変換する．また，ゼロ代名詞が ある述語 37410 件のうち，一つの述語に対して三つ 以上ゼロ代名詞が含まれるものは $1 \%$ 未満である 80 件であった．そのため，今回の実験では一つのスパ ンに一つもしくは二つのゼロ代名詞の組み合わせを ゼロ代名詞クラスとする．三つ以上の物に関しては

 &  & $89.2 \%$ \\

表 2 ゼロ代名詞検出の混同行列 (件数)

etcに置き換える。

## 4.2 モデル設定

事前学習言語モデルとして, NICT-BERT ${ }^{2}$ の BPE なし $\mathrm{BERT}_{B A S E}$ モデルを使用し，述語をクエリ，文 を文脈として，述語を主辞とする節のスパンとゼロ 代名詞の種類を予測するデータでファインチューニ ングした.

各パラメータ設定において，学習エポックは $\{2,4\}$, バッチサイズは 16 , 学習率は 3e-5, ドロッ プアウト確率は 0.1 , 式 6 のハイパーパラメータ $\alpha$ は $0.0 \sim 1.8$ のうち 0.2 間隔で用いた. 単語分割は NICT-BERT に合わせ，MeCab-Juman 辞書で単語分割を行った。

## 4.3 比較手法

ゼロ代名詞同定の実験において，BERT を用いた 系列ラベリングを比較手法とする. Devlin ら [4] の 手法を参考に，文全体を入力とし，BIOES 形式で述語にはゼロ代名詞クラス，それ以外は"O"をラベリ ングするように学習した. 正誤判定は提案手法のク エリーに対応する述語の箇所のみに適切なラベリン グを行ったかで判定した。

## 4.4 実験 1: ゼロ代名詞検出

3.1 節で述べた 質問応答に基づくゼロ代名詞検出 に関する実験を行った.「ゼロ代名詞の有」かつ「そ のゼロ代名詞の存在する節の完全一致」の時，True Positive (TP) とする. 表 2 はエポック 2 における混同行列である. 各セルには件数と割合を記載した.表 2 において，Gold データに対する True Negative (TN) の正答率が TP と比べて高い理由としては， TN は文中にゼロ代名詞が存在しない場合であるため,「節 (span) の一致」は考慮する必要がなく，「ゼロ代名詞の有無」の一致のみであるからと考えられる.

表 3 ゼロ代名詞検出の F1 值

表 4 ゼロ代名詞同定の F1 值

また，表 3 はエポック $\{2,4\}$ におる F1 值, Precision,Recall を載せる. Keyaki tree bank に対して の構文的素性を用いた Takeno ら [10] の F1 值が $73.2 \%$ であり，データセットは異なるため，単純な 比較はできないが，これらの結果を踏まえても，表 3 の $81.3 \%$ は十分に高いスコアと言える.

## 4.5 実験 2: ゼロ代名詞同定

3.3 節の同時学習を用いてゼロ代名詞の同定に関 する実験を行った. TPを「ゼロ代名詞の種類」が一致した場合とする。比較手法としては 4.3 の系列ラ ベリングを用いる．F1值による比較において，結果 を表 4 に記す. 表 4 よれば，ベースラインよりも，提案手法の方が $2.2 \%$ 優れていた. ただし提案法は クエリとなる述語の正解を与えているので，厳密な 比較ではないことに注意する必要がある.

また，式 6 のハイパーパラメータ $\alpha$ を変更した時 の F1 の変化を図 1 に記す. 図 1 より，エポック 2,4 共に，ゼロ代名詞クラス分類に重心を強くして学習 させるほうが，F1 值の精度が高かった.

## 5 エラー分析

提案手法の成果を確認するため，実際の事例を示 す. 下線部がゼロ代名詞の存在する節である.

(1)衝撃や水濡れに強いのがウリの機種に決めました. Gold : pro_SBJ Predict : pro_SBJ

(2)偶然がもたらした大発見といってよいであろう。 Gold : $T \_O B J$ Predict : $T \_O B J$

例文 (1),(2) はゼロ代名詞の種類と主格/目的格を 正確に捕らえらている.

一方で誤り例を示す.

図

実験 2 において， $\alpha$ を変化させたときの $\mathrm{F} 1$ 値

表 5 pro とその亜種の種類エラー率

(3)たまにはおごれよ.

Gold : hearer_SBJ Predict : speaker_SBJ

この場合，SBJ は認識できているが，二人称 (hearer) であるべきところを一人称 (speaker) と誤っ ている。このように主格/目的格は正確に捕らえら れるが，pro とその亜種である hearer,speakerに関し て区別できていないことがある. pro と比べ, 出現頻度低い speaker やhearer はこの傾向が顕著である.

表 5 は正解ラベルが SBJ に関するもの正答率 と proと亜種の種類エラーにおける割合である.正答率において，亜種ラベルのない $T$-SBJ が $3.7 \%$ と比べて, pro とその亜種である speaker と hearer は正答率が大きく下がっている. 例文 (3) のよう な亜種に関するエラーが正答率を下げてる.こ のような亜種のエラーの割合は，"pro"のエラーの うち $10.1 \%$, "speaker"と"hearer"のそのようなエラー の割合は $35 \%$ 後半もある. "pro"と比べ，"speaker" と"hearer"がエラーが多い理由として, それらの付与 されたデータ数の少なさ，および，提案法は文を入力単位としており, 文脈情報を利用していないこと が考えられる.

## 6 おわりに

本研究では QA タスクにおけるスパン予測問題と して定式化したゼロ代名詞の検出・種類同定を提案 し，NPCMJ を用いて評価を行った.今後は推定し た情報を基にゼロ照応解析や他言語のデータセット に対する評価などを行っていきたいと考えている。今回の提案手法では，一つの節に対して一つのクエ リで推定を行っていたが，推定したゼロ代名詞のス
パンを用いて，節と節の関係について文全体で整合性をとることで，精度の向上が期待できる。

## 参考文献

[1]Wei Wu, Fei Wang, Arianna Yuan, Fei Wu, and Jiwei Li. CorefQA: Coreference resolution as query-based span prediction. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 6953-6963, Online, July 2020. Association for Computational Linguistics.

[2]Xiaoya Li, Jingrong Feng, Yuxian Meng, Qinghong Han, Fei $\mathrm{Wu}$, and Jiwei Li. A unified MRC framework for named entity recognition. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5849-5859, Online, July 2020. Association for Computational Linguistics.

[3]アラステアバトラー, 吉本啓, 岸本秀樹, プラシャント パルデシ. 統語・意味解析情報付き日本語コーパスの アノテーション. 言語処理学会 第 22 回年次大会 発表論文集, 3 月 2016.

[4]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 41714186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[5]植田暢大, 河原大輔, 黒橋禎夫. Bert と refinement ネッ トワークによる 統合的照応・共参照解析. 言語処理学会第 26 回年次大会 発表論文集, 3 月 2020 年.

[6]Ryuto Konno, Yuichiroh Matsubayashi, Shun Kiyono, Hiroki Ouchi, Ryo Takahashi, and Kentaro Inui. An empirical study of contextual data augmentation for Japanese zero anaphora resolution. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 4956-4968, Barcelona, Spain (Online), December 2020. International Committee on Computational Linguistics.

[7]Linfeng Song, Kun Xu, Yue Zhang, Jianshu Chen, and Dong Yu. ZPR2: Joint zero pronoun recovery and resolution using multi-task learning and BERT. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5429-5434, Online, July 2020. Association for Computational Linguistics.

[8]Abdulrahman Aloraini and Massimo Poesio. Anaphoric zero pronoun identification: A multilingual approach. In Proceedings of the Third Workshop on Computational Models of Reference, Anaphora and Coreference, pp. 22-32, Barcelona, Spain (online), December 2020. Association for Computational Linguistics.

[9]Abdulrahman Aloraini and Massimo Poesio. Cross-lingual zero pronoun resolution. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 90-98, Marseille, France, May 2020. European Language Resources Association.

[10]Shunsuke Takeno, Masaaki Nagata, and Kazuhide Yamamoto. Empty category detection using path features and distributed case frames. In Proceedings of the 2015 Confer-
ence on Empirical Methods in Natural Language Processing, pp. 1335-1340, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[11]Alastair Butler, Tomoko Hotta, Ruiko Otomo, Kei Yoshimoto, Zhen Zhou, and Hong Zhu. Keyaki treebank : phrase structure with functional information for japanese., 2012.