# 執筆・翻訳のための制限語彙の構築とその自動化の検討

杉野峰大宮田玲少川浩平佐藤理史
名古屋大学大学院工学研究科
sugino.hodai@c.mbox.nagoya-u.ac.jp

## 1 はじめに

工業製品のマニュアルなど産業文書は、大規模に なることが多い上、製品のリリースに合わせて短期間で完成させることが求められる。また、制作・多言語展開のプロセスには複数の編集会社・翻訳会社 が携わり、表現の一貫性を保つことが難しいという 問題もある。このような課題を解決するための枠組 みとして制限言語がある。制限言語により、構文や 語彙を制限し、曖昧な表現を防ぐことで、テキスト の一貫性や翻訳可能性の向上が期待できる $[1,2]$ 。 ここで肝心なことは、執筆者・編集者・翻訳者が各作業プロセスにおいて共通に参照できるルールや辞書を事前に整備し、その利用を技術的に支援するこ とである。

制限語彙は、制限言語の重要な要素の 1 つであ り、特定のドメイン向けに設計された使用可能な語 のリストのことである $[1,3]$ 。予め、使用できる語 を規定しておくことによって、執筆者間の語彙使用のばらつきを抑制し、文書全体を通した表現の 一貫性を向上させることができる。これまで、主 に産業文書の執筆のために各種の制限語彙が構築 されてきたが $[4,5]$ 、一般に公開されているものは 多くない。公開されている制限語彙の 1 つに ASD Simplified Technical English (ASD-STE 100) [6] があ る。これは、もともと航空宇宙分野の整備マニュア ル用に開発されたもので、現在では産業界で広く使用されている。8つの品詞 (動詞、名詞、形容詞、副詞、冠詞、前置詞、接続詞、代名詞）を対象に、承認語 (approved word) と非承認語 (unapproved word) の リストが提供されている。

我々は、ASD-STE 100 をモデル例と捉え、自動車 の修理書を対象とした日英対訳の制限語彙の構築に 取り組んでいる。ASD-STE 100 は有用な枠組みでは あるが、他の目的、ドメイン、言語に直接移植する ことは容易ではない。また、どの単語を使うべきか については規定されているが、それらをどのように使うかに関する指針は必ずしも十分ではなく、執筆 や翻訳に役立てるには改良の余地がある。さらに、単言語（英語）での提供であるため、多言語に制作 される文書に対しては効果が限定的といえる。

そこで、本稿では、ASD-STE 100 の枠組みを拡張 し、動詞を対象とした執筆・翻訳のための日英対訳 の制限語彙の形式を提案し、人手構築の現状を報告 する (2 節)。提案する制限語彙は、執筆支援や翻訳支援・機械翻訳への応用が考えられる（3 節)。さら に、制限語彙の人手構築で得た知見を踏まえ、構築作業の自動化に取り組んだ結果を報告する（4 節)。

## 2 制限語彙の設計と人手構築

## 2.1 設計

本研究では、執筆や翻訳に特に関わる文の主要な 構成要素であり、なおかつ格などの構文に関する情報を付与できる、動詞を対象とする。

表 1、表 2 に提案する自動車修理書を対象とした 制限語彙の形式を示す。表 1 は承認語、表 2 は非承認語のエントリの例である。この形式は ASD-STE 100 の形式を基に、以下の 3 つの観点から拡張した ものである。

表現文型 各動詞について取りうる格の順序と選択選好（意味カテゴリ） $[7,8]$ の情報を与える。これ らを合わせて動詞の表現文型と呼ぶことにする。日本語では、格順序が比較的自由であり、

1. GTS DLC3 接続する

2. DLC3 GTS を接続する

という 2 文は格の順序が入れ替わっているが、いず れも文法的には正しい。また、これらの違いは必ず しも読者の理解に大きな影響を与えるわけではな い。しかし、一貫性のある文書を作成する観点か ら、格順序を制限し、これらの摇れを取り除くこと は望ましく、テキスト検索の効率や機械翻訳出力の 一貫性の向上にも貢献する。
表 1 承認語のエントリ例

表 2 非承認語のエントリ例

また、選択選好を規定することで、用語集との連携を強化できる。技術文書では、パーツ名などの専門用語の使用頻度が高く、一貫性を保つために用語集で管理することが望ましい。表現文型の格によく 使われる語句の意味カテゴリの情報を付与し、用語集と対応させることで用語集の検索や利用を円滑に する（定義しているカテゴリは付録 $\mathrm{A}$ を参照）。

文書構造/内容要素 我々は、すでに情報の配置 に関するルールとなる修理書の文書構造やそれに対応した内容要素を定めている [9]（一覧は付録 B を 参照)。これらを表現文型を対応させることで、構造と表現が結びつき、表現文型の利用をより円滑な ものにする。

多言語対応 日本語の承認語に対し、多言語の承認語を対応させておくことで翻訳時の辞書として利用でき、目標言語での一貫性を高めることにつなが る。今回は、日本語のエントリを起点に英語の承認語と表現文型を定める。

## 2.2 制限語彙の人手構築

制限語彙構築の基本要件は以下の通りである（構築手順の詳細は、文献 [10]を参照)。

1. 語彙の全集合により当該ドメインのあらゆる内容を表現できる。

2. ある意味内容に対する表現形が 1 つに定まる。

ある意味内容に対する表現形を集めるには、単に 辞書的な類義語を取得するのみでは不十分である。例えば、「使用する」と「着用する」は一見、類義語 ではないが、「この作業では、必ず手袋を使用する こと」と「この作業では、必ず手袋を着用すること」 では、同じ内容を指している。そのため、用例にお ける入れ替え可能性に着目し、その語と入れ替え可能な語があれば、どちらか一方を承認語とする。

現在、トヨタ自動車株式会社から提供を受け た 10 車種 17 タイプの自動車修理書から抽出した $1,053,111$ 文の日本語文（以下、修理書コーパス）を 用いて人手により日本語の制限語彙を構築してい
る。複数の修理書から網羅的に文を抽出しており、当該ドメインを広くカバーしていると考えられる。

自動車修理書で使用される動詞全 852 種類を精査 し、承認語 717 語と非承認語 135 語を規定した。異 なりでは $15.9 \%$ 、延べでは $3.1 \%$ が非承認語であっ た。これは、プロの執筆者、編集者によって作成さ れた文書であっても、さらなる語彙統制の余地があ ることを示唆する。

また、717 の承認語に対して、900 の表現文型を 規定した。全文型により、現時点で修理書コーパス 中の文を延べで $85.2 \%$ カバーしているが、異なりで は $40.3 \%$ のカバレッジにとどまる。これは、数多く 存在する頻度が少ない文型を十分網羅できていない ことを意味する。また、格順序が規定のものと異な るバリエーションは延べで $2.7 \%$ 存在した。

## 3 執筆・翻訳への応用

執筆・翻訳において重要な役割を果たす表現文型 はよく使われる表現である基本形のみが定義され ている。実際に使用する際には、文書構造の位置に よって望ましい形に変形する必要がある。そこで、 そのメカニズムを変形規則として実現した（表現文型の変形規則一覧は付録 B を参照)。以上を踏まえ つつ、具体的な応用について述べる。

## 3.1 執筆支援

文を一から執筆するシナリオでは以下のプロセス からなる執筆支援方法が有効であろう。

1. 書きたい内容に応じた文書構造要素を選ぶ。

2. 文の核となる動詞を入力し、動詞と内容要素に 対応した表現文型を呼び出す。

3. 表現文型のスロットを埋める。

表現文型のスロットを埋める形式で文を書くこと で執筆者間で一貫性を保てる。さらに、文書構造、内容要素、表現文型がトップダウンに対応してお り、文レベルではなく文書レベルでの制限オーサリ ングを支援することが可能になる。
他にも、構築した制限語彙は、既存テキストの診断シナリオにも活用できる。具体的には、非承認語 の使用と、表現文型に違反する格の順序を検出し、 それぞれ正しい表現候補を提案することで執筆者や 編集者を支援できる。

## 3.2 翻訳支援・機械翻訳

$「\{[$ Part $]$ を $\}[$ Part] に $\}$ 交換する」と「replace $\{[$ Part $]$ に \} with $\{[$ Part] を\}」など言語間で表現文型の対応が ある。格要素は対訳用語集として整備しておく。表現文型と用語集は、人手翻訳ではガイドラインとし て使えるだけでなく、的確な変換規則を定めればテ ンプレートベース機械翻訳にも応用できる。

機械翻訳について、あらゆる入力文に対し、表現文型による翻訳を適用できるわけではない。現在、日本語の文型のカバレッジは約 $85 \%$ である。表現文型の数を増やすことで、カバレッジを高めることは 可能であるが、その分適切な管理が難しくなる。そ こで、表現文型でカバーできない表現にはニューラ ル機械翻訳を用いることで、一貫性と柔軟さを兼ね 備えた機械翻訳を実現できると考えている。

## 4 自動構築の検討

制限語彙は有用であるが、人手による構築は時間 や労力がかかる。また、 1000 種類以上の語を対象に 制限語彙の構築を人手で行う中で、見落としも生じ る。完全な自動化は難しいが制限語彙構築の機械的支援が求められる。本節では、承認語、非承認語決定の自動化の検討と実験について報告する。

## 4.1 自動構築手法

2.2 節で述べた制限語彙の構築方針を以下の手続 きとして具体化した。

1. 注目する動詞の類義語を収集する。

2. 注目する動詞の用例を用いて、類義語の入れ替 え可能性を検証する。

3. 入れ替え可能であれば、承認語を 1 つに決定 する。

自動化への課題は、大きく2つある。1つ目は、用例に即した入れ替え可能性をどのように自動で判定するかである。本研究では、BERT [11] ${ }^{1}$ を利用す


る。BERT は同じ語であっても文脈により異なる埋 め込み表現を与えるため、用例に対する入れ替え可能性を測ることに利用できると考えた。

2つ目は、何を基準に承認語を決定するかである。基準としては、例えば、使用頻度、平易さ、体系性 が挙げられる。使用頻度、平易さはそれぞれよく使 われる表現、わかり易い表現に統一するという考え から重要であるといえる。また、辞書としての体系性も重要な要素と考えられる。例えば、「送る」、「受信する」が承認語、「送信する」、「受け取る」が 非承認語であるのは不自然であり、承認語と非承認語の決定は対称的になっていることが望ましい。本来はこのような要素を複合的に考慮すべきである が、今回の自動化では人手構築においても特に重視 した使用頻度を基準とする。

本手法の入力は制限語彙を構築したい文書群、出力は、動詞のみを対象とした承認語のリスト及び非承認語と代替承認語のペアのリストの 2 つである。処理の全体像を図 1 に示す。この処理は対象コーパ ス中における頻度上位の語から順に行う。以下、各 モジュールの詳細を述べる。

(1) 置換候補抽出 対象動詞の代替承認語の候補 として対象コーパス中で対象動詞より出現頻度が多 い動詞から以下のどちらかを満たすものを選ぶ。
- WordNet ${ }^{2}$ における類義語
- $\operatorname{word2\mathrm {vec}^{3})}$ で対象動詞との $\cos$ 類似度が閾値 $\alpha$以上で上位 30 件以内かつ WordNet における対義語でない語

(2) 用例サンプリング 対象動詞を含むコーパス 中の全用例を検証するのは実行時間の点から現実的ではないため、用例のサンプリングを行う。動詞 は複数の用法で使用されることもあり、それらを広 く含むようサンプリングする必要がある。本研究で は、BERT のベクトルを利用した用例のクラスタリ ング [12]を利用する。なお、クラスタ数は未知で あるため、上限クラスタ数を 5 とし、x-means 法に よってクラスタリングを行う。得られたクラスタの 重心に最も近い用例を取得することによって、多様 な用法を含むサンプリングを実現する。

(3) 入れ替え可否判定 Panzer [13]、HaoriBricks3 [14]を利用して、(2)で得た用例 (原文) の動詞を (1) で得た置換候補に置き換えた文（置換文）を生成

2) http://compling.hss.ntu.edu.sg/wnja/

3） Wikipedia で学習したモデルを対象コーパスで追加学習し た。

図 1 制限語彙の自動構築の流れ（動詞「取り替える」と承認語「交換する」が入れ替え可能か判定する例を示す。）

表 3 自動で取得した非承認語と代替承認語のペアに対す る評価結果

する。なお、英語では、同様の処理に pattern [15] を 用いた。次に、入れ替え可否判定のために、BERT ベースの平易化手法 [16] を参考に原文と置換文の動詞部分を [MASK] トークンで置き換えた文を結合し て BERT に入力する。

[MASK] に置換文の動詞が出現する尤度を $p$ 、 [MASK] に原文の動詞が出現する尤度 $p^{\prime}$ として、入 れ替え可能性スコアは以下のように定義する4)。 Score $= \begin{cases}p & (\text { 動詞部分の token 数が異なる場合 }) \\ \frac{p}{1-p^{\prime}} & (\text { 動詞部分の token 数が同じ場合 })\end{cases}$ スコアが候補中で最大かつ閾値 $\beta$ 以上であれば、用例において動詞の入れ替えが可能と判定する。

(2)で得た全ての用例のについて入れ替え可能な 語があれば、それらを代替承認語とし、対象動詞を 非承認語とする。

## 4.2 検証

自動車分野の修理書コーパズ5)を用いて、日本語 と英語で制限語彙の自動構築を行った。

今回は、閾値 $\alpha, \beta$ はともに 0.2 と設定した。自動 で同定した非承認語と代替承認語のペアに対する 評価結果を表 3 に示す。日本語において、人手構築結果（2.2 節）との一致度は $14.1 \%$ と低いが、精度 は $63.6 \%$ と人手構築の判断材料として使える水準で あった。制限語彙の作り方は 1 通りには定まらず、

4） BERT に同じ長さの文を結合した 2 文を入力した場合、 2 文目の [MASK] に対して、1 文目と同じ token を予測する働きが 強まるため、入れ替え可能な他の表現の出現尤度が低くなる。 この BERT の挙動の影響を補正するため、場合分けを行う。

5）日本語は 2.2 節と同じ $1,053,111$ 文、英語は 10 車種 15 タイ プの自動車修理書から抽出した $1,202,738$ 文を利用した。必ずしも人手で構築したものが最良とは言えないこ とを示唆する。特に、人手では承認語としていた動詞の内、自動構築によって新たに 41 件に対し妥当 な代替承認語を獲得することができた。人手と自動構築の違いとして、人手の方が漢語から和語への言 い換えを好む傾向が見られた。また、英語において も、 $68.9 \%$ と日本語と同程度の精度が確認できた。

エラーとして、対義語が代替承認語と判定さ れている事例が複数存在した。原因は、BERT や word2vec が分布仮説の考え方に従っており、同義語 と対義語を十分区別できないためと考えられる。今回は候補抽出の段階で WordNet で獲得できる対義語 は除外したが、それでも多くの対義語が代替承認語 として出力されている。解決策としては、対義語辞書の拡充など対義語判定手法の改良が考えられる。

## 5 おわりに

本稿では、執筆・翻訳作業において制限語彙を有効に活用するために、ASD-STE 100 の枠組みを拡張 し、新たな制限語彙の形式を提案した。本制限語彙 は、執筆・翻訳作業の支援システムへの様々な応用 が可能である。さらに、制限語彙の構築作業の自動化に取り組み、人手作業の支援に利用できる一定の 精度が得られることを確認した。対義語への対処は 今後の課題である。

今後は、表現文型を起点として、執筆・翻訳支援 の枠組みを発展させる。具体的には、(1) 副詞句など の修飾要素の種類と文中での順序を整理すること、 (2) 複文の構成に関して節間接続表現の列挙と規則 を定めることに取り組む。また、これらの要素を執筆や翻訳に活用するためのシステムの開発を行う。

謝辞 研究データの自動車修理書はトヨタ自動車株式会社からご提供いただいた。本研究の一部は科研費（19H05660,19K20628）の支援を受けた。

## 参考文献

[1] Eric Nyberg, Teruko Mitamura, and Willem-Olaf Huijsen. Controlled language for authoring and translation. In Harold Somers, editor, Computers and Translation: A Translator's Guide, pp. 245-281. John Benjamins, Amsterdam, 2003.

[2] Tobias Kuhn. A survey and classification of controlled natural languages. Computational Linguistics, Vol. 40, No. 1, pp. 121-170, 2014.

[3] Kara Warburton. Developing lexical resources for controlled authoring purposes. In Proceedings of LREC 2014 Workshop: Controlled Natural Language Simplifying Language Use, pp. 90-103, 2014.

[4] Linda Means and Kurt Godden. The Controlled Automotive Service Language (CASL) project. In Proceedings of the 1 st International Workshop on Controlled Language Applications, pp. 106-114, 1996.

[5] Kurt Godden. The evolution of CASL controlled authoring at General Motors. In Proceedings of the 3rd International Workshop on Controlled Language Applications, pp. 14-19, 2000 .

[6] ASD Simplified Technical English. Specification ASDSTE100, Issue 7., （2020-12 閲 覧）. http://www. asd-ste100.org.

[7] Philip Resnik. Selectional preference and sense disambiguation. In Proceedings of ACL SIGLEX Workshop on Tagging Text with Lexical Semantics: Why, What, and How?, pp. 52-57, 1997.

[8] Yorick Wilks. An intelligent analyzer and understander of English. Communications of the ACM, Vol. 18, No. 5, pp. 264-274, 1975.

[9] Hodai Sugino, Rei Miyata, and Satoshi Sato. Formalising document structure and automatically recognising document elements: A case study on automobile repair manuals. In Adam Jatowt, Akira Maeda, and Sue Yeon Syn, editors, Digital Libraries at the Crossroads of Digital Information for the Future. ICADL 2019. Lecture Notes in Computer Science, pp. 249-262. Springer, Cham, 2019.

[10] Rei Miyata and Hodai Sugino. Building a controlled lexicon for authoring automotive technical documents. In Proceedings of XIX EURALEX Congress: Lexicography for Inclusion, pp. 171-180, 2020.

[11] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.

[12] 馬ブン, 田中裕隆, 曹鋭, 白静, 新納浩幸. Bert を利用し た単語用例のクラスタリング. 言語資源活用ワーク ショップ発表論文集, 2019.

[13] 佐野正裕, 佐藤理史, 宮田玲. 文末述語における機能表現検出と文間接続関係推定への応用. 言語処理学会第 26 回年次大会発表論文集, pp. 1483-1486, 2020.

[14] 佐藤理史. HaoriBricks3: 日本語文を合成するための ドメイン特化言語. 自然言語処理, Vol. 27, No. 2, pp. 411-444, 2020.

[15] Tom De Smedt and Walter Daelemans. Pattern for Python. The Journal of Machine Learning Research, Vol. 13, No. 1, pp. 2063-2067, 2012.
[16] Jipeng Qiang, Yun Li, Zhu Yi, Yunhao Yuan, and Xindong Wu. Lexical simplification with pretrained encoders. Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 05, pp. 8649-8656, 2020.

## A 格要素の意味カテゴリ一覧

## B文書構造、内容要素、表現文型変形規則の対応一覧

内容要素は、文末動詞を含む要素のみを記載している（全要素は文献 [9]を参照のこと）。また、表現文型 は、内容要素のうち、操作、判断、推測、行為、機能、状態、物理、禁止事項のいずれかと対応付けられてい る (2 節参照)。


 杉野峰大宮田玲少川浩平佐藤理史 名古屋大学大学院工学研究科 sugino.hodai@c.mbox.nagoya-u.ac.jp  