# 上場会社開示資料の日英対訳コーパスの自動生成に関する検討

土井惟成大西恒彰命苫昭平高頭俊
株式会社 日本取引所グループ
\{n-doi, n-onishi, s-meitoma, s-takato\}@jpx.co.jp

## 1 はじめに

東京証券取引所 (以下，東証) における海外投資家 のプレゼンスは年々高まっている。東証が公表して いる株式分布状況調査 [1] によると, 2019 年度にお ける日本の上場会社の株式に対する外国法人の保有比率 (時価総額に対する金額ベース) は約 $30 \%$ に及ん でいる。しかしながら, 2018 年に TDnet ${ }^{1}$ で開示さ れた，適時開示資料をはじめとする上場会社開示資料 (以下，開示資料) において，英語による開示資料 の占める割合は約 11 \%に留まっている.

このような状況を踏まえ，海外投資家による開示資料の利便性を改善するための手段として，機械翻訳の活用が考えられる [2]. ニューラル機械翻訳モ デル [3] (以下, NMT モデル) による機械翻訳は, 従来の機械翻訳モデルより翻訳精度が高いことで知ら れている。一方で, 専門用語の多い特定分野の文を 対象にすると, 汎用的な NMT モデルでは翻訳精度 が低くなる傾向にある [4]. また, NMT モデルの学習は対訳コーパスを用いて行われるため，対訳コー パスの規模や品質が翻訳精度に影響を与えることが 知られている [5].

本研究では, 2019 年に TDnetで開示された, PDF 形式の開示資料を対象に，約 23 万文対の日英対訳 コーパス (東証適時開示対訳コーパス: ParaTDC)を 機械的に生成した. その後, ParaTDC の有用性の評価のため, 汎用的な NMT モデルを対象に本コーパ スを用いて追加学習を行うことでカスタム翻訳モデ ル2)を作成し, その翻訳精度を評価した。実験の結果，日英の文の類似度で閾値を設けた対訳コーパス を用いた追加学習によって, 追加学習前と比較して BLEU スコア [6] の上昇が確認できた。


## 2 関連研究

本研究に関連する研究として, (1) 開示資料の一 つである CG 報告書を対象としたカスタム翻訳モ デルの検討に関する研究 [7], (2) 開示資料を対象と した人手による日英対訳コーパス (TDDC) の作成に 関する研究 [8], (3) Web サイトのクロールで収集し た HTML ファイルを対象とした日英対訳コーパス (JParaCrawl)の自動生成に関する研究 [9]がある．以下では，これらについてそ抽紹介する。

(1) の研究では, 160 社の日英の CG 報告書を対象 に，約 4 万文対の対訳コーパスを人手で作成し，力 スタム翻訳モデルを評価した。本研究と (1)の主な 差異は, (1)の対象とする開示資料が限定的である点 と, 作成手法が人手である点の 2 点が挙げられる.

(2) の研究では, 2016 年 1 月から 2018 年 6 月まで の 2.5 年間に TDnet で開示された PDF 形式の開示資料を対象に，人手によって約 140 万文対の日英対訳 コーパス (TDDC) を作成した。本研究と (2) の主な 差異は, (2) の対象とする文書の開示期間と, 作成手法が人手である点の 2 点が挙げられる.

(3) の研究では, Webクロールで収集した HTML ファイルを対象に，機械的な手法で作成された，約 1,000 万文対の日英対訳コーパス (JParaCrawl)を作成 した. ParaTDC と JParaCrawl は, 大量の日英の文書 から自動的に作成した日英対訳コーパスという点で 共通している。一方で, 本研究と (3) の主な差異は, (3) の対象とする文書が HTML ファイルである点と,文単位のアライメント手法に内製の NMT モデルを 用いている点の 2 点が挙げられる.

## 3 対訳コーパス生成の流れ

2019 年における TDnet の開示資料の件数は約 10.3 万件であり，その内，日本語は 9.2 万件，英語は約 1.1 万件である. 本研究では, これらの開示資料を 源泉として以下の各節に述べる処理を実行した。

## 3.1 暗号化・画像化された PDF の除外

PDF ファイルからのテキスト抽出を防ぐ方法とし て，コピー禁止の設定，パスワードや電子署名によ る PDF 文書の暗号化, テキストの画像化が挙げられ る. 手書き文字認識等の技術を用いることで，これ らの処理が施されている PDFファイルからのテキ スト抽出が可能ではあるものの, その精度は必ずし も高いとは限らない, そのため, 本研究では, これ らの処理が施されている PDFファイルは，コーパス の源泉データの対象から除外した。

## 3.2 日英の文書のアライメント

対訳コーパスの源泉となる開示資料に対して，文書単位での日英のアライメントを実施した. TDnet の開示資料には, PDF 形式の開示資料本体とは別 に, 開示日時やタイトル等のメタデータが存在す る.このメタデータから, 開示資料の言語 (日英) は 判別できるが，日英の対応関係が含まれていないた め, 別途の手段による日英の文書のアライメントが 必要となる。また, 英語の開示資料は, 必ずしも対応する日本語の開示資料と同日に開示されるとは限 らず，日本語より遅延して開示されることがある.本研究では，まず，英語の各開示資料に対して， 2019 年 1 月 1 日から各開示日までに，その銘柄コー ドの上場会社が開示した全ての日本語の開示資料 を出力した. その後, 日英のタイトルの分散表現を 算出し, 英語の開示資料のべクトルとのコサイン類似度が最大となる日本語の開示資料を探索するこ とで，文書のアライメントを実現した。この時，テ キストの分散表現の算出に TensorFlow の Embedding メソッド3を使用し，分散表現のモデルには， TensorFlow $の$ universal-sentence-encoder-multilingual ${ }^{4}$ ) を使用した。

## 3.3 PDF テキスト抽出

PDF ファイルには，セクション，見出し，表，段落などの論理的な構造を追加するための夕グを付与 することが可能であり，このような夕グが付与され た PDF ファイルをタグ付きPDF と呼ぶ。しかしな がら，開示資料における夕グ付きPDF の割合は一定程度に留まっており (2018 年の開示資料では $28 \%$ 程


度)，また，夕グ付き PDFであっても，必ずしも全 てのタグが適切に付与されているとは限らない.

そこで，本研究では，PDF形式の開示資料からの テキスト抽出には，文書中の各文字の座標情報等 を踏まえて，一連のテキスト (以下，テキストボッ クス) を抽出することが可能なソフトウェアを利用 し, テキストボックス単位でテキストを抽出した。具体的には，PDF ファイル中の文字について，文字間隔が閾値以下同士の文字は，同一の行に含まれる 一連のテキスト (以下，テキストライン)に属すと 見なし，行間隔が閾値以下同士のテキストライン同士は同一のテキストボックスに属すと見なしてい る.このような処理を有するソフトウェアとして， PDFMiner[10] が知られている. なお, 本処理では,文書中の 1 パラグラフが 1 つのテキストボックスと して抽出されるため，1つのテキストボックスに 2 文以上が含まれることがある.

## 3.4 正規化処理

開示資料から抽出したテキストを対象に，以下を はじめとする正規化処理を実行した。

特定文字の置換 長音記号や全角チルダをはじめ とする一部の記号文字を，類似する形状の記号文字 に置換した。また，CJK 部首補助や CJK 互換漢字は 後述する NFKC 正規化によって正規化されないこと から，本処理においてそれぞれ対応する CJK 統合漢字へ置換した。

Unicode 正規化 丸数字 $(U+2460-U+2473), 2$ 点 リーダ (U+2025)，3 点リーダ (U+2026)を除く文字 を対象に，NFKC[11]による Unicode 正規化を実行 した。これにより，全角英数字を半角に変換したほ か，康熙部首を CJK 統合漢字に変換した。康熙部首 とは，部首を表す漢字の一種であり，一部の PDF 変換ソフトウェアにおいて, CJK 統合漢字で入力した 文字が PDF ファイルでは康熙部首に変換されるこ とが知られている [12].

制御文字等の削除 制御文字に相当する文字等を 削除する目的で, Unicode character property $の$ General Category[13] が Cc，Cf，Cn，Coの文字を削除した.

余分なスペースの削除 以下の処理を行うこと で，余分なスペースを削除した。

・文頭及び文末のスペースを削除

・連続するスペースを 1 つのスペースに置換

$\cdot$「平仮名, 片仮名, CJK 統合漢字, 全角記号」の 間のスペースを削除

-「平仮名, 片仮名」と「半角濁点 (U+FF9E), 半角半濁点 (U+FF9F)」の間のスペースを削除し， NFKC 正規化を実行

## 3.5 日英の文のアライメント

アライメントされた日英の文書ごとに，日英の文 のアライメントを行った。本処理では，まず，和文 と英文のそれぞれに対して分散表現を算出した。こ の時使用したモデルは，3.2 節における夕イトルの 分散表現の算出に使用したモデルと同様である.こ の時, 日本語側の文については, 日本語の文字を含 まない文 (平仮名, 片仮名, $\mathrm{CJK}$ 統合漢字のいずれ も含まない文) は処理の対象から除外した. その後,英文ごとに, 英文のベクトルとのコサイン類似度が 最大となる和文のベクトルを探索し，それを対訳文 として選定した。

この時, 文書全体での類似度の組み合わせの最適化等は行っていない。 そのため, 文書中に複数出現 する同一の和文に対して異なる英文がアライメント されることや，英文がアライメントされない和文が 生じることがある.

また，本処理の実行に際しては，計算コスト上の 理由から, 1 文書当たり 10 分を処理時間の上限とし て設け，それ以降の処理を中断した。

## 4 ParaTDC の概要

本研究では, 3 章の処理を通じて, 2019 年の開示資料を源泉とした，約 23 万文対の日英対訳コーパ スである ParaTDC を生成した，ParaTDCにおける対訳数や平均文字列長等の詳細を表 1 に示し, 英文に おける単語数の分布を図 1 に示す。

TDDC が 2.5 年分の開示資料を源泉とした 140 万文対の対訳コーパスであることを踏まえると， ParaTDC は開示資料 1 年分当たりの対訳数が比較的少ないと言える. この理由としては, 3.3 節の PDF テキスト抽出において， 1 行中に複数の文を含むこ とを許容していること，また， 3.4 節の文アライメ ントにおいて, 10 分以上の処理を途中で中断してい ることが考えられる。

また, ParaTDC は, 日英の対訳に加え, 源泉の開示資料の ID，開示日時，発行体の銘柄コード， 3.4 節で算出したコサイン類似度 (以下，スコア) で構成 されている，スコアは必ずしも翻訳の正確性を表し ているとは限らないものの, 対訳コーパスからの) イズ除去において有用性が期待される。表 1 ParaTDC の統計情報. 括弧内の数値は全対訳数に占

図 1 ParaTDC の英文における単語数の分布

## 5 実験

ParaTDC の有用性を検証するため，ParaTDC と TDDC (2016 年及び 2017 年の開示資料) のそれぞれ を用いてカスタム翻訳モデルを作成し，同一のテス トデータを用いて翻訳精度の向上を検証する。 5.1 節では本実験の実験設定について述べ，5.2 節では 実験結果と考察について述べる。

## 5.1 実験設定

本実験では，汎用的な NMT モデルに追加学習を 行うことでカスタム翻訳モデルを作成するサービス として, Microsoft が提供する Custom Translator ${ }^{5}$ を 利用した。また，翻訳精度の評価指標として BLEU スコアを採択した。

ParaTDC を用いた追加学習では，Devには訓練 データからランダムに選出した $5 \%$ 程度の対訳 (上限 2,500 文対)，Test には TDDC で提供している，2018 年 1 月から同年 6 月の開示資料から作成した 3,277 文対を用いた，TDDCを用いた追加学習では，Train には 2016 年と 2017 年の開示資料から作成した対訳 コーパス,Devには 2018 年 1 月から同年 6 月の開示資料から作成した 3,967 文対, Testには ParaTDC と 同一の 3,277 文対を用いた。この時, Dev と Test は,作成元の開示資料がそれぞれ異なることを確認して いる. なお, Custom Translator の仕様として, 英単

表 2 実験結果. 閾値を設けている場合，スコアが閾値未満の対訳を元の対訳コーパスから除外していることを意味する。

語数が 100 個以上の対訳や，和文が 2,000 文字以上 の対訳は自動的に削除される [14].

ParaTDC 及び TDDC には重複する対訳が含まれて おり, 追加学習に際してはこれらを除外した。ま た，ParaTDC に重複して出現する和文については， スコアが最も大きい英文のみを残すことで，各和文 に対して対応する英文が一意に定まるようにした。

また，本実験では，ParaTDC のスコアによるノイ ズ除去の有用性の検討のため, 複数のパターンでス コアに閾値を設けた対訳コーパスを用いてカスタム 翻訳モデルを作成し，翻訳精度を評価した。

## 5.2 実験結果及び考察

各追加学習で用いたデータセットの内訳や BLEU スコアによる評価結果を表 2 に示す。

ParaTDC による追加学習により, 多くの閾値のパ ターンにおいて BLEUスコアの上昇が見られた. 特 に，スコアによる閥値を $60 \%$ とした時の上昇量が最 も大きく, 2.7 ポイント程度の上昇を確認した。

一方で, TDDC では BLEU スコアが 8.8 ポイン 卜程度と, ParaTDC と比較すると大幅に上昇した。 ParaTDC による翻訳精度の改善が TDDC に及ばな かった原因の一つに，対訳コーパスの規模が考え られる. 4 章で述べたとおり, ParaTDC の作成に当 たっては， 1 文中に複数の文が含まれる可能性があ り, また, 文書中の全ての文に対してアライメント を行っているとは限らないため, 今後はこれらの解決が課題となり得る。

スコアによる閾値に着目すると，閥値を $80 \%$ にし た時の BLEU スコアはベースラインよりも悪化し た.これは, 閾値を上げることによって追加学習に 用いる学習データが減ったことに加え, アライメン トのスコアの高い対訳が, 必ずしも正しい対訳であ るとは限らないことに起因していると推察する。表 3 に，ParaTDC におけるスコアの高い対訳の例を示表 3 アライメントのスコアが高い対訳の例

 & the GRESB website & \\
& . & \\

す.ParaTDCでは，表 3 の例 1 のとおり，短文のア ライメントは比較的正確であり, そのスコアは高い 傾向にある。一方で, 個人名 (例 2) や施設名 (例 3) をはじめとする固有名詞, 及び，金額 (例 4) や日付 (例 5)をはじめとする数値表現において，アライメ ントが誤っているにもかかわらず高いスコアを示 している対訳が散見された。この原因として，固有名詞や数値表現の分散表現では, それらが異なる値 であるにもかかわらず， ベクトルとしては似通って しまうことが挙げられる。これを回避する方法とし て，固有表現抽出の利活用が考えられる。

## 6 おわりに

本研究では, PDF 形式の上場会社開示資料から機械的に対訳コーパスを生成し，それを用いた追加学習によるカスタム翻訳モデルの翻訳精度を評価する ことで，ParaTDC の有用性を評価した。実験から， ParaTDC による追加学習によって翻訳品質の改善を 確認した。一方で, 対訳コーパスの規模及び品質に は改善の余地があると考えられる。

東証上場会社は毎年膨大な量の開示資料を開示し ていることから，引き続き，これらの分析を進める ことで，自然言語処理による開示資料の利活用の可能性について検証を進めたい.

## 謝辞

ParaTDC の作成に当たっては, 東証が 2020 年 4 月 から同年 8 月に実施した, 東証適時開示コーパスに 関する限定公開実証実験6)の参加者各位より有益な ご助言を戴いた。ここに記して謝意を表する。


## 参考文献

[1] 株式会社東京証券取引所. 2019 年度株式分布状況調査, 2020. https://www.jpx.co.jp/markets/ statistics-equities/examination/01.html.

[2] 山藤敦史. 開示資料と翻訳. AAMT 2019,Tokyo 〜機械翻訳最前線 , 2019.

[3] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequence learning with neural networks. In Proceedings of the 27th International Conference on Neural Information Processing Systems - Volume 2, NIPS'14, pp. 3104-3112, Cambridge, MA, USA, 2014. MIT Press.

[4] Philipp Koehn and Rebecca Knowles. Six challenges for neural machine translation. In Proceedings of the First Workshop on Neural Machine Translation, pp. 28-39. Association for Computational Linguistics, 2017.

[5] Rico Sennrich and Biao Zhang. Revisiting low-resource neural machine translation: A case study. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 211-221, Florence, Italy, July 2019. Association for Computational Linguistics.

[6] Kishore Papineni, Salim Roukos, Todd Ward, and Wei jing Zhu. Bleu: a method for automatic evaluation of machine translation. pp. 311-318, 2002.

[7] 土井惟成, 近藤真史, 山藤敦史. コーポレート・ガバ ナンス報告書における機械翻訳の検討. 言語処理学会第 25 回年次大会 (NLP2019), pp. 926-929, 32019.

[8] Nobushige Doi, Yusuke Oda, and Toshiaki Nakazawa. TDDC: Timely disclosure documents corpus. In Proceedings of the 12th Language Resources and Evaluation Conference, pp. 3719-3726, Marseille, France, May 2020. European Language Resources Association.

[9] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 3603-3609, Marseille, France, May 2020. European Language Resources Association.

[10] Yusuke Shinyama. PDFMiner, 2016. https://euske. github.io/pdfminer/.

[11] Ken Whistler. UAX \#15: UNICODE NORMALIZATION FORMS, 2020. https://www.unicode.org/reports/ tr44/.

[12] Create PDF, why KANJI 9AD8(高) will be changed to $2 \mathrm{FBC}($ 高) when Meiryo UI ? - Adobe Support Community - 10625575, （2021-01 閲 覧）. https://community. adobe.com/t5/acrobat/createpdf-why-kanji-9ad8-\%E9\%AB\%98-will-be-changedto-2fbc-when-meiryo-ui/td-p/10625575?page=1.

[13] Ken Whistler. UAX \#44: UNICODE CHARACTER DATABASE, 2020. https://www. unicode.org/ reports/tr15/.

[14] データのフィルター処理 - カスタムトランスレー ター - Azure Cognitive Services | Microsoft Docs, (202101 閲 覧）. https://docs.microsoft.com/ja-jp/ azure/cognitive-services/translator/customtranslator/data-filtering.
 土井惟成大西恒彰命苫昭平高頭俊 株式会社 日本取引所グループ \{n-doi, n-onishi, s-meitoma, s-takato\}@jpx.co.jp  