# ニュースのライティングスタイルの差分を考慮した 日英機械翻訳のテストセットの開発

衣川和克 美野秀弥 後藤功雄 山田一郎
NHK 放送技術研究所
\{kinugawa.k-jg, mino.h-gq, goto.i-es, yamada.i-hy\}@nhk.or.jp

## 概要

英語ニュースでは一般に一文内に同一の表現を 繰り返し使うことを避け, 言い換えや省略によって 簡潔な文にすることが推奨される。一方で, 日本語 ニュースではこうした簡潔性が英語ニュースほどは 考慮されず,一文内に同一の表現が複数回出てくる ことも珍しくない. この差分により, 日本語ニュース から機械翻訳で生成した文が英語ニュースのライ ティングスタイルに沿わないものになってしまうこ とがある. 本稿では,こうしたライティングスタイル を考慮した機械翻訳の実現に向けて, 時事通信社の 日英ニュース記事対からテストセットを構築する。日英ニュース記事の分析およびベースラインの機械翻訳モデルの性能評価を通じて, 本タスクの重要性 および課題について議論する.

## 1 はじめに

ニューラルモデルの発展とともに機械翻訳の性能は大きく向上している. 機械翻訳の重要な応用先 の一つがニュースであるが, 機械翻訳をニュース制作に活用する上での課題の一つとして, 言語間での ニュースのライティングスタイルの差分が挙げられ る. 例えば放送用の英語ニュース原稿では一般に, 説明や主張を簡潔なものにするため, 同じ表現の繰り 返しを避ける, 受動態よりも能動態が好まれる, 否定形よりも肯定形が好まれるといった特徴がある [1].

図 1 に [1] から引用した, 同じ表現の繰り返しを避 ける例を示す. 例示した 2 つの文はいずれも「週末 にハドソン百貨店で全米自動車労組がピケを行い,双方が勝利を宣言している.」という意味の文であ る. 1 つ目の文は「ハドソン百貨店」と「全米自動車労組」が複数回ずつ現れているが, 2 つ目の文はこれ らの単語を一回ずつのみ記述している. 前者のよう に同一の名前や情報を繰り返す文 (REPETITIVE) は

## (REPETITIVE)

Both Hudson's and the United Auto Workers Union are declaring victory after a weekend of U-A-W pickets at Hudson's Department Stores.

## (TIGHTER)

Both sides are declaring victory after a weekend of picketing by the United Auto Workers Union at Hudson's Department Stores.

図 1 ライティングスタイルにそぐわない英文の例

冗長に感じられるため回避することが推奨され，よ り簡潔な文 (TIGHTER)が好ましい。

一方で, 日本語ニュースではこうした簡潔性が英語ニュースほどは考慮されず,一文内に同一の表現 が複数回出てくることも珍しくない. その結果, 日本語のニュース記事を機械翻訳で英訳すると英語 ニュースのライティングスタイルにそぐわない文が 生成されてしまうことがある. 図 2 に時事通信社の 日本語ニュース文, 対応する英語ニュース文, 機械翻訳による英訳の例を示す.この例では日本語文内 で「入学」という単語が 3 回出てくるが, 前述のラ イティングスタイルに則るとこれらを全て同一表現 で訳出することは避けることが望ましい. 実際, 英語 ニュース文では 1 つ目と 3 つ目の「入学」を 1 つに まとめ, 2つ目の「入学」については “enter”ではな く“join”と表現している.しかし, 機械翻訳の出力で は2つ目の「入学」については別表現を用いている ものの, 1 つ目と 3 つ目の「入学」をいずれも同一に 訳出してしまい, 尽長な文になってしまっている.

ニュースでは速報性が重要なため, 機械翻訳を制作ワークフローに導入するためには, なるべく人手 の修正が少なくなるよう, 単に翻訳文の意味が合っ ているだけでなく上記のようなライティングスタイ ルの要件を満たす文を生成することが望ましい.

## (SRC)

区によると, 同校がアルマーニの採用を決めた 後, 大学予定者 7 人が教育方針や私立小への入学などを理由に入学を辞退した。

(REF)

After the school decided to recommend Armani items as desirable clothing, seven children dropped plans to enter the school, with parents citing disagreements with its education policy, decisions to join private schools or other reasons, according to the office of Chuo Ward, where the school is located.

(NMT)

According to the ward office, after the school decided to hire Armani, seven students who plan to enroll in the school declined to enroll in the school due to their educational policy and entrance to private primary schools.

図 2 ライティングスタイルにそぐわない翻訳の例

本稿ではニュースのライティングスタイルに沿っ た文の生成の実現に向けて, まず評価用のテスト セットを構築する. 上述した「同一表現の繰り返し の抑制」を制御の対象として, 時事通信社の日英対訳記事から人手で事例を収集する。（以降, 本稿で単 に「ライティングスタイル」と記述した際には, 同一表現の繰り返しの抑制のことを言及しているも のとする. ）ニュースドメインの日英対訳コーパス で学習したベースライン機械翻訳モデルが, 上記の テストデータでどれくらいライティングスタイル に沿った出力を生成できているかを評価する. 日英 ニュース記事の分析および評価実験を通じて, 本夕 スクの重要性および課題について議論する.

## 2 日英ニュース記事の分析

本研究では, 時事通信社の 2018 年の日英ニュース 記事アーカイブを利用する.このアーカイブでは日英いずれの記事にも ID が付与されており,まずこの ID 照合して日英のニュース記事対を作る. 次に，内山・井佐原の手法 [2]を用いて各記事対内で対訳文のペアを作る. 各日本語文を mecab [3] でトークナ イズし, ストップワードを除き,一文内でトークンが 重複している文を列挙する。この中から, 日本語文 を見て，（図 2 に示したような）同一の表現が繰り 返されていて訳出時に言い換えや省略が起きうる
ものを手作業で 514 文収集した. これは「一文内で トークンが重複している文」のうちのおよそ 5,6 文 に 1 文程度に該当し, また, 記事単位でみるとおよそ 4 記事に 1 記事がこのような文を含んでおり,これは ニュース制作に機械翻訳を応用する上では無視でき ない分量である. 抽出した 514 の対訳ペアの中には 文レベルの自動対応付けがうまくいかず, 日本語側 で繰り返されている表現が英文側でどのように訳出 されているか判断できないものもあったため,この 中で対応付けの精度が比較的良く, 対象の表現が英語側でどのように訳されているか判断できるものを 人手で 100 文取り出し, 訳出の傾向を分析した

省略 訳出時に省略が起きているもので単純なも のとしては, “A and B” の形で書けるような, 文法構造上並列な名詞や動詞が挙げられる。

仮校舎と再開した校舎をテレビ会議システムで 結び, 遠隔合同授業も行う予定だ.

Joint class activities using teleconference equipment are planned between the reopened and provisional schools.

また,もう1つ分かりやすいケースとして, 数量の後 ろに単位として付く名詞が繰り返されている場合に もこれを省略する傾向にあった。

17 年 4 月現在, 福祉事務所がある 902 自治体の 56\% に当たる 504 自治体が取り組んでいるが，中学生の勉強をサポートする事業が大半となっ ている.

As of April 2017, 504 of 902 municipalities with welfare offices had implemented the program.

それ以外の事例は, 文法構造からは単純には判断で きない複雑なものが多い.

民間調査機関インテージによると, 2017 年のア ルコール度数 7 9\% の缶酎ハイ市場は 7 年前 の 2.5 倍に拡大し, 缶酎ハイ市場全体の 5 割強を 占めた

But the share of products with 7-9 pct alcohol in the Japanese canned chuhai market grew 2.5 -fold in seven years to stand at over 50 pct in 2017, according to private research firm Intage Inc.

これは日本語側で意味が重複しているため, 訳出し

てしまうと英語側が冗長になってしまうと考えられ る例で, 2 つ目の「市場全体の 5 割」が「缶酎八イ市場」であることは自明であるため省略されている。

言い換え 言い換えは積極的に用いられる傾向が あり, 特に文内の近い位置で繰り返されているもの については言い換えが起きやすい。

昨年 3 月の声明は「戦争・軍事目的の科学研究 を行わない」とする過去 2 回の声明を継承。

In the March 2017 statement, the council pledged to follow its two previous documents highlighting its determination not to conduct scientific research for military purposes.

固有名詞の繰り返しについても, 言い換えが起 きる. 以下の例では 2 つ目の「ソメイヨシノ」を "Someiyoshino"ではなく, "the cultivated variety" と言 い換えている。

クマノザクラの花は栽培品種のソメイヨシノ （染井吉野）に似た淡紅色などだが, 開花時期 がソメイヨシノより早い.

The petals of Kumanozakura are mainly a light shade of red, similar to those of "Someiyoshino," and bloom earlier than those of the cultivated variety.

また, 表層が同じであってもニュアンスの異なる場合には訳出時に違う表現になる. 例として以下に示 すような項の異なる述語が挙げられる。

さらに,いずれのケースでもブレーキが作動す る 0.8 秒前までに, 運転者に衝突回避操作を 促す警報が作動することも認定の要件となって いる.

Another planned requirement for the ministry's certification is that the equipment warns the driver at least 0.8 second before the brakes are activated, long enough for ordinary drivers to respond and apply brakes manually.

その他 日本語側で繰り返されている表現に対し て, 英語側で必ずしも言い換え, あるいは省略が行わ れているわけではなく, 全て同一に訳出するものも 存在する.これについては, 翻訳者が同一に訳しても さほど簡潔性を損なわないと判断した, その表現の 訳語にバリエーションがなく同一に訳さざるを得な
かったなどの理由が考えられる。

入居対象は市に定住する意思があり, 夫婦とも 35 歳以下か, 未就学児のみがいる夫婦. The city rents the apartments for up to five years to couples both aged 35 or less, or couples with only children of preschool age, who are willing to eventually settle in Hadano.

## 3 テストセットと評価方法

本稿では 2 節で収集した 100 組の対訳ペア（日本語入力文および参照訳）をテストセットとして用い る. テストセットの日本語文の中には 1 文内で複数種類の表現で繰り返しが起きているものもあり, 訳出の分類を合計すると省略が 45 事例, 言い換えが 39 事例, 全て同一に訳出していたものが 23 事例で合計 107 事例であった. また, テストセットの日本語文の 平均文長は 60.52 文字であった.

次節で述べる実験では, 簡単のため参照訳と機械翻訳の出力を下記の 3 タイプに人手で分類し,これ らがどれくらい一致しているかを評価する。

1. 対象の訳語が全て同一の場合は REPETITIVE

2. 対象の訳語が言い換えたり省略されている場合 は TIGHTER

3. 対象の訳語が訳抜けや誤訳などによりうまく生成できていない場合は ERROR ${ }^{1)}$

参照訳の 107 事例については, 23 事例が REPETITIVE, 84 事例が TIGHTER となる. 本稿の実験では 参照訳を正解として評価を行うが, 参照訳と機械翻訳の出力のタイプが一致していなかったからといっ て,それが必ずしも誤りであるとは限らない. ライ ティングスタイルは属人的なものであり,言い換え・省略を行うか行わないかは作業者によって異なりう るからである. 現在, 複数人の翻訳者によるテスト セットの日本語文の翻訳を進めており, 結果を収集 してそのばらつきを調査する予定である。

## 4 実験

ベースラインの実験として, 日英ニュースドメイ ンの対訳データで学習した機械翻訳モデルがどれほ どライティングスタイルに沿った出力を生成できる かを評価する。

1） 2 項目の省略と 3 項目の訳抜けを真に見分けることは難し いが,ここでは原言語文の後半の節が丸ごと訳出できていない など, 久落の範囲が大きなものを訳抜けとして判定する。
表 1 実験結果

読売新聞 (Yomiuri_Editorial) ${ }^{2}$ の 2007 年から 2017 年の日英対訳記事コーパスから類似度 0.4 以上の対訳ペアを抽出し，このうち 596,679 ゚゚アを学習デー タ, 1,583 ペアを開発データとして用いる.いずれの 言語もトークナイズに sentencepiece [4]を用い, 語彙 サイズを 8000 とした. 翻訳モデルは Transformer [5] とし, fairseq [6] で実装した. optimizer は Adam [7] を 用い, 学習率は 0.001 とした. 翻訳時のビームサーチ はビーム幅を 5 とした.

表 1 に実験結果を示す. 全体で参照訳と一致して いたのは 107 事例中 41 事例にとどまった. TIGHTER について一致したのは 28 事例で, さらにそのうち繰 り返すか省略するかについても一致していたのは 19 事例であった. ベースラインモデルは全体の半数程度が REPETITIVE な出力となっており, 言い換え や省略の制御機能を学習データからうまく獲得する 工夫が必要であることを示している. また, ERROR の数も $1 / 5$ 程度となっており, 無視できない問題で あることが分かる. ERROR の内訳はほとんどが訳抜けであった. テストデータの中には比較的長い文 が多く,これらをうまく処理できていない. 日本語 ニュースは他ドメインと比べて文長が長い傾向があ るが, 文長が長くて類似度も高い訓練事例は多くな いため, 文長にロバストな翻訳性能をいかにして獲得するかも課題である.

## 5 関連研究

機械翻訳における訳語の統一については多く研究がなされてきた一方で $[8,9,10]$, 訳語の言い換え についての研究が限られている. 同一の単語はなる べく同一に訳したほうが可読性は高まるが, あまり に同一表現を使いすぎるとかえって読み物として の質が下がってしまう恐れもあるため,一概にどち らにすべきとは言えない.こうした背景を受けて， Guillou [11] は実世界の色々なドメインの翻訳におい て,どのような単語が言い換えられやすい（あるい は統一されやすい）傾向にあるのかを統計的に調査 した. 単語の頻度や品詞, 文書のドメインによって傾向は異なるものの, 訳語を適宜言い換えることの重要性を提起している. Guillou [11] の研究は分析を主 としたものだが, 本研究はニュースドメインにおけ る訳語の言い換えを実際のタスクに落とし込むこと をねらいとしている。

翻訳のスタイルの制御についても,近年注目を集 めている. Wang ら [12] は翻訳者の翻訳スタイルを ニューラルモデルに学習させる研究を行った. 森下 ら [13] はミニバッチに一文書を丸ごと入れることで 文脈を考慮しながら学習・推論を行う手法を提案し， その効果の 1 つとして，「です・ます」調や「だ・で ある」調など, 翻訳対象のドメインのライティング スタイルに沿った出力が得られたことを報告してい る. 本研究では翻訳スタイルの 1 つとして,ニュース のライティングスタイルの一項目を対象に取り上 げこの制御を評価することを目的としている.

## 6 おわりに

本稿では日英間のニューススタイルの差分に着目 し,このギャップを埋めるための翻訳制御の実現に 向けて,テストセットを構築した. 日英のニュース記事対についてそのライティングスタイルの差分を分析し, 本タスクの重要性とベースラインモデルの課題について議論した。

今後の予定として, 本稿で実施した評価方法につ いての検討を進める. 言い換えと省略を 1 つに混ぜ て評価を行なったが, どのような場面でどちらかが 求められているかについても調査を行う. また, 現在複数名の翻訳者により, 収集した 514 の日本語文の 翻訳を進めており，その結果を受けてライティング スタイルのばらつきなどについての分析も進める予定である. どのような誤りがニュース制作者にとっ てインパクトの大きなものかについても定性的に分析したい.

さらに、実際にこうしたライティングスタイルを 文生成に組み込むための効果的な手法についても検討する. 本稿の実験では翻訳モデルの出力を評価し たが, 本タスクは翻訳モデルの前後の処理でも効果的な制御を行える可能性がある. 例えば, 日本語側を pre-edit する [14, 15], あるいは, 英語側を post-edit す るなどの手法も考えられる。

2) https://www.nichigai.co.jp/dcs/index5.html

## 謝辞

本研究成果は, 国立研究開発法人情報通信研究機構の委託研究（課題 225）により得られたものです. また,データをご提供頂きました株式会社時事通信社の朝賀英裕氏・川上貴之氏に厚く御礼申し上げ ます.

## 参考文献

[1] Robert A. Papper. BROADCAST NEWS AND WRITING STYLEBOOK. Routeledge, seventh edition, 2021.

[2] Masao Utiyama and Hitoshi Isahara. A Japanese-English patent parallel corpus. In Proceedings of Machine Translation Summit XI: Papers, Copenhagen, Denmark, September 10-14 2007.

[3] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, jul 2004. Association for Computational Linguistics.

[4] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[6] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[7] Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In Yoshua Bengio and Yann LeCun, editors, 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings, 2015.

[8] Shaohui Kuang, Deyi Xiong, Weihua Luo, and Guodong Zhou. Modeling coherence for neural machine translation with dynamic and topic caches. In Proceedings of the 27th International Conference on Computational Linguistics, pp. 596-606, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics.

[9] Zhaopeng Tu, Yang Liu, Shuming Shi, and Tong Zhang. Learning to remember translation history with a continu- ous cache. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 407-420, 2018.

[10] Xinglin Lyu, Junhui Li, Zhengxian Gong, and Min Zhang. Encouraging lexical translation consistency for documentlevel neural machine translation. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3265-3277, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[11] Liane Guillou. Analysing lexical consistency in translation. In Proceedings of the Workshop on Discourse in Machine Translation, pp. 10-18, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[12] Yue Wang, Cuong Hoang, and Marcello Federico. Towards modeling the style of translators in neural machine translation. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1193-1199, Online, June 2021. Association for Computational Linguistics.

[13] Makoto Morishita, Jun Suzuki, Tomoharu Iwata, and Masaaki Nagata. Context-aware neural machine translation with mini-batch embedding. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2513-2521, Online, April 2021. Association for Computational Linguistics.

[14] Rei Miyata, Anthony Hartley, Cécile Paris, Midori Tatsumi, and Kyo Kageura. Japanese controlled language rules to improve machine translatability of municipal documents. In Proceedings of Machine Translation Summit XV: Papers, Miami, USA, October 30 - November 32015.

[15] Yusuke Hiraoka and Masaru Yamada. Pre-editing plus neural machine translation for subtitling: Effective preediting rules for subtitling of TED talks. In Proceedings of Machine Translation Summit XVII: Translator, Project and User Tracks, pp. 64-72, Dublin, Ireland, August 2019. European Association for Machine Translation.
 衣川和克 美野秀弥 後藤功雄 山田一郎 NHK 放送技術研究所 \{kinugawa.k-jg, mino.h-gq, goto.i-es, yamada.i-hy\}@nhk.or.jp  