# ニューラル機械翻訳における Iterative Back-Translation を利用した コンパラブルコーパスの活用

山本 優紀 秋葉 友良 塚田 元
豊橋技術科学大学
\{yamamoto.yuki.pr, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp

## 概要

ニューラル機械翻訳 (NMT) の学習に用いる対訳 コーパスの構築法として, 文書単位で対応付けられ た 2 つの言語のコーパス (コンパラブルコーパス) から、対応付けられる文ペアを自動的に抽出する 手法が広く採用されている. しかし, 文単位で意味 が対応するものは少なく,多くの文は抽出されず捨 てられてしまう. 本研究では、対訳コーパスとし て抽出されなかった文を含めて,コンパラブルコー パス全体を NMT の学習に活用する手法を提案す る. 評価実験により, コンパラブルコーパスでデータ 拡張を行うことや, コンパラブル性の利用, Iterative Back-Translation の活用によって翻訳モデルの性能が 向上することを確認した.

## 1 はじめに

機械翻訳の分野では, 深層学習の発達により, ニューラルネットワークを用いるニューラル機械翻訳 (Neural Machine Translation:NMT) が, 従来手法の統計的機械翻訳よりも高い性能を示しており, 様々な 研究が行われている. NMT では, ニューラルネット ワークで構築した翻訳モデルを, 翻訳元の言語 (原言語) の文と,その訳の言語 (目的言語) の文のぺアにし た対訳コーパスを用いて学習を行う. NMT は, 対訳 コーパスから翻訳に関わる様々な知識を学習するた め, 対訳コーパスの質や量が NMT モデルの翻訳性能 に大きく影響する.しかし, 大規模な対訳コーパスを 人手で作成することは困難という問題点がある.

この問題の解決策として, 既存の日本語と英語の 翻訳テキストから対訳コーパスを構築する手法が提案されている.[1]これは, 新聞などの文書単位で対応付けつけられた 2 つの言語コーパス (コンパラブ ルコーパス) から, 対応付けられる文ぺアを自動的
に抽出することで対訳コーパスを構築する方法で ある. しかし,コンパラブルコーパスの中で文単位 で意味が対応するものは少なく,多くの文は抽出さ れずに捨てられてしまう. 実際, 本論文で使用した PatentMT の調査では 1 つの文書から平均約 $27.1 \%$ の文しか抽出されていなかった.

本研究では, 対訳コーパスとして抽出されなかっ た文を含めて,コンパラブルコーパス全体を NMT の 学習に活用する手法を提案する. データ拡張手法と して, 逆翻訳 (Back-Translation:BT)[2] や, その拡張手法である Iterative Back-Translation (IBT)[3][4][5] を利用することで，より効果的なデータ拡張手法を探す. さらに, 上記の手法をコンパラブルコーパスのコン パラブル性を活用して行い, その効果を調べる.

## 2 提案手法

## 2.1 コンパラブルコーパスの再現

本研究では, 対訳コーパスの抽出元であるコン パラブルコーパスを翻訳モデル学習に活用するこ とを目的とする. しかし, 実験で用いる NTCIR-10 PatentMT[6] のコンパラブルコーパスを直接入手す ることができなかったため, 以下の方法で対訳コー パスからコンパラブルコーパスを再現した.
1. $C=\{\}$ と初期化する.

2. 対訳コーパス $P$ の各文ペア $(x, y) \in P$ について 以下を繰り返す。

$2.1 x$ と $y$ の抽出元の文書である $D_{x}$ と $D_{y}$ を特定する。

2.2 特定した $D_{x}$ と $D_{y}$ を文書ペア $\left(D_{x}, D_{y}\right)$ と し, $C$ に $C \leftarrow C \bigcup\left.\{\left(D_{x}, D_{y}\right)\right.\}$ と追加する.

最終的にコンパラブルコーパス $C=$ $\bigcup_{(x, y) \in P}\left.\{\left(D_{x}, D_{y}\right)\right.\}$ が得られる.

## 2.2 データ拡張手法

節 2.1 で構築したコンパラブルコーパスを利用 して, データ拡張を行う. 本研究では, 4 つの手法で データ拡張実験を行い, 比較を行うことで, より効果的なコンパラブルコーパスの活用方法を模索する.

## 2.2.1 Back-Translation

逆翻訳手法 (Back-Translation:BT) は, Sennrich ら [2] の提案した手法である. BT の流れを図 1 に示す. 図 1 では, 言語 $X$ から言語 $Y$ の翻訳モデルの構築 を考えている. はじめに, 対訳コーパスを利用して $Y \rightarrow X$ 方向の翻訳モデル Model $_{Y \rightarrow X} 0$ を作成する.次に,このモデルを用いて, 単言語コーパス $C_{Y}$ mono からサンプリングして得たサブセット $\hat{C}_{Y}$ mono を 逆翻訳し, 翻訳結果 $\hat{C}_{X}^{\prime}$ mono を得る. 翻訳結果と元 の単言語コーパスを組み合わせて疑似対訳コーパ ス ( $\hat{C}_{X}^{\prime}$ mono, $\hat{C}_{Y}$ mono $)$ を構築する. 構築した疑似対訳コーパスと対訳コーパスを混合し, 言語 $X$ から 言語 $Y$ の翻訳モデル Model $_{X \rightarrow Y} 1$ を学習する. 以上 が BT の流れである. 本研究では, 構築したコンパ ラブルコーパス $C=\bigcup_{(x, y) \in P}\left.\{\left(D_{x}, D_{y}\right)\right.\}$ の Y 言語側 $C_{Y}=\bigcup_{(x, y) \in P}\left.\{D_{y}\right.\}$ を単言語コーパスとすることで BTを利用する。

図 1 Back Translation

## 2.2.2 Iterative Back-Translation

Iterative Back-Translation(IBT) は, 原言語の単言語 コーパスと目的言語の単言語コーパスを用いて, BT を双方向かつ反復的に繰り返す手法である. IBT の 流れを図 2 に示す. 図では, 言語 $X$ と言語 $Y$ におけ る IBT の流れを示している. IBT は以下のようにし てモデルを学習する。

1. 対訳コーパスを用いて, $X \rightarrow Y, Y \rightarrow X$ の各方向 の翻訳モデル Model $_{X \rightarrow Y} 0$, Model $_{Y \rightarrow X} 0$ を学習 し, $i \leftarrow 0$ に初期化する.

2. 以下の手順で Model $_{X \rightarrow Y} i$ を更新する.

2.1 Model $_{Y \rightarrow X} i$ で単言語コーパス $C_{Y}$ mono からサンプリングして得たサブセッ ト $\hat{C}_{Y}$ mono を翻訳し, 疑似対訳コーパス ( $\hat{C}_{X}^{\prime}$ mono, $\hat{C}_{Y}$ mono) を得る.

2.2疑似対訳コーパス ( $\hat{C}_{X}^{\prime}$ mono, $\hat{C}_{Y}$ mono) と対訳コーパス $\left(C_{X}, C_{Y}\right)$ を結合し, $\operatorname{Model}_{X \rightarrow Y} i$ を fine-tuning し, $\operatorname{Model}_{X \rightarrow Y}(i+1)$ を学習 する。

3. ステップ 2 と同様に Model $_{Y \rightarrow X} i$ を更新する.
4. $i \leftarrow i+1$ としてステップ 2 に戻る.

本研究では, BT と同じように, 構築したコンパラブ ルコーパスを, 単言語コーパスとすることでIBT を 利用する。

図 2 Iterative Back-Translation
表 1 実験に使用したコーパスサイズ

## 2.2.3コンパラブル性を利用した IBT

コンパラブル性を利用した IBT では, 構築したコ ンパラブルコーパスが文書単位で対応付けられてい ることを利用して, IBT に利用する両言語の単言語 コーパスをコンパラブルになるように選択する方法 である. 具体的には, IBT のステップ 2.1 および 3.1 で 単言語コーパスから $\hat{C}_{X}$ mono および $\hat{C}_{Y}$ mono をサン プリングする際, $\hat{C}_{X}$ mono と $\hat{C}_{Y}$ mono が互いにコン パラブルになるように選ぶ. すなわち, 指定されたサ ンプリングサイズを満たすように最小限のコンパラ ブルコーパスのサブセット $C_{s u b}=\left.\{\left(D_{X}, D_{Y}\right)\right.\} \subset C$ をサンプリングして, $\hat{C}_{X}$ mono $\subseteq \cup_{\left(D_{X}, D_{Y}\right) \in C_{\text {sub }}}\left.\{D_{X}\right.\}$ および $\hat{C}_{Y}$ mono $\subseteq \cup_{\left(D_{X}, D_{Y}\right) \in C_{\text {sub }}}\left.\{D_{Y}\right.\}$ のように単言語コーパスを選択する。

## 3 評価実験

## 3.1 データセット

本研究では, 使用する大規模なコーパスとして 特許機械翻訳テストコレクションである NTCIR 10 PatentMT[6] を使用した. PatentMT は特許文書から文 を抽出することで構築されている対訳コーパスであ る. PatentMT の対訳コーパスから, 2.1 節の方法でコ ンパラブルコーパスを構築した. このとき,数式を含 む文や長い文を除いた. 使用した対訳コーパスと構築したコンパラブルコーパスのサイズを表 1 に示す.

また, PatentMT の対訳コーパスと構築したコンパ ラブルコーパスの関係を調査した. コンパラブル コーパスの全文書は 66,414 文書である. このうちの 20,485 文書は, 文書内の $10 \%$ 以下の文しか対訳コー パスとして抽出されていないことがわかった. また,構築したコンパラブルコーパスを利用することで，約 67\%の文を新しく学習に使用することができるこ とがわかった.表 2 コンパラブルコーパスの効果確認実験の結果

} & \multicolumn{2}{|c|}{ BLEU(dev/test) } \\

## 3.2 データセットの前処理

前処理として英語文, 日本語文ともに NFKC 正規化を行った. また, 英語文は Moses[7] に付属する トークナイザーと truecaser でトークナイズ大文字小文字の表記を統一した. 学習前の事前処理として, SentencePiece[8] で語彙サイズを 16,000 でサブワー ド化を行った.

## 3.3 ニューラル機械翻訳のパラメータ

NMT システムには Fairseq[9] の Transformer を使用した. エンコーダー及びデコーダは Transformer を 6 層とした. 学習率は 5e-4 とし, Warmup は 4000 ス テップ, dropout は 0.1 としている. 損失関数は, ラべ ル平滑化クロスエントロピーを使用した. 最適化関数は Adam を利用し, パラメータである $\beta_{1}$ を $0.9, \beta_{2}$ を 0.98 に設定した。

## 3.4 コンパラブルコーパスの効果

今回構築したコンパラブルコーパスの効果を確認 するための実験を行った. PatentMT の対訳コーパス のみで学習した翻訳モデルと,コンパラブルコーパ スを利用してデータ拡張を行った翻訳モデルを比較 する。

ベースラインは, PatentMT の対訳コーパスのみで 学習したものを利用した. コンパラブルコーパスを 利用した翻訳モデルは, ベースラインに加え, 全ての コンパラブルコーパスを利用したものと,対訳コー パスと同サイズである $3,186,254$ 文をコンパラブル コーパスから抽出したものの 2 つで実験を行った. ベースラインを利用してそれぞれ BTを行い, デー 夕拡張して学習を行った. ベースラインは 20epoch, コンパラブルコーパスを利用した翻訳モデルはどち らも 10epoch の学習を行った. 評価尺度は BLEU[10] を用いる。また, NTCIR-10 のベスト翻訳モデルとも 比較を行った。

コンパラブルコーパスの効果確認の実験結果を表
表 3 翻訳モデルの BLEU

} & \multicolumn{3}{|c|}{} & \multicolumn{3}{|c|}{} \\

2 に示す. なお, 表 2 のサイズは, 左が対訳コーパス の使用文数, 右が単言語コーパスの使用文数となっ ている.

コンパラブルコーパスを利用した 2 つの結果が ベースラインを上回ったことから，これまで利用さ れていなかったコンパラブルコーパスを活用するこ との有効性を示している. また, NTCIR-10 のベスト 翻訳モデルと BLEU を比較すると, BLEU を大きく 上回っており, 本実験で作成された翻訳モデルは十分な性能があるといえる.

## 3.5 データ拡張手法の比較

節 2.2 で説明した BT, IBT, コンパラブル性を利用 したIBT の 3 つの手法で実験を行い, データ拡張手法の比較を行った. データ拡張は学習データのサイ ズが少ないほど効果が見られるため, 学習に使用す るデータ数を減らして実験を行った. ベースライン は対訳コーパスを 10 万文使用して学習を行った. 提案手法である 3 つのデータ拡張手法では, ベースラ インに加え, 10 万文ずつコンパラブルコーパスから サンプリングし, データ拡張を行い, モデルを更新し た. モデルの更新後, 新たに 10 万文をコンパラブル コーパスからサンプリングし, 対訳コーパスと混合 してデータ拡張を行う. これを繰り返すことで, モデ ルの更新を進める. モデルの更新は 3 手法とも 5 回行った. 比較は, 開発データで最も高い BLEU スコア のモデルで比較を行った.

データ拡張手法の比較を行うために, BT, IBT, コ ンパラブル性を利用した IBT の 3 つの手法を行っ た. 実験の翻訳モデルの学習結果を, 表 3 に示す. な お, 表 3 の学習データサイズは, 左が対訳コーパスの 使用文数, 右が単言語コーパスの使用文数となって いる. なお, 太字になっている BLEU スコアが, 開発
データで最も高い BLEUを示した Model である.英日方向における各手法の BLEU を比較すると， コンパラブル性を利用した IBT が最も性能が高く,続いて IBT の性能が高い. 日英方向における各手法 の BLEU を比較すると, 英日と同じく,コンパラブル 性を利用した IBT が最も性能が高く, 続いて IBT の 性能が高い. IBT は, BT と比較して, BLEU が高いこ とが確認できる. コンパラブル性を利用した IBT は， コンパラブル性を利用していない BT や IBT と比較 して, BLEUが高いことが確認できる.

## 4 結論

対訳コーパスをとして抽出されなかった文を含め たコンパラブルコーパスを利用してデータ拡張を行 うことで, 翻訳モデルの性能が向上し, これまで利用 されていなかったコンパラブルコーパスを活用する ことの有効性を確認した. また, コンパラブルコーパ スの活用方法として, IBT を利用することの有効性 と, 利用する単言語コーパスにコンパラブル性を持 たせることの効果を確認することができた.

## 謝辞

本研究は JSPS 科研費 $18 \mathrm{H} 01062$ の助成を受けた.

## 参考文献

[1] 内山将夫. 対訳データの効率的な構築方法. 情報通信研究機構季報 Vol.58, pp. 37-43, 2012.

[2] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, 2016.

[3] Vu Cong Duy Hoang, Phiilpp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative back-translation for neural machine translation. In Proceedings of the 2nd Workshop on Neural Machine Translation and Generation, pp. 18-24, 2018.

[4] Zhirui Zhang, Shujie Liu, Mu Li, Ming Zhou, and Enhong Chen. Joint training for neural machine translation models with monolingual data. In Proceedings of the AAAI Conference on Artificial Intelligence, pp. 555562, 2018.

[5] 森田知熙, 秋葉友良, 塚田元. 双方向の逆翻訳を利用 したニューラル機械翻訳の教師なし適応の検討. 情報処理学会研究報告 2018-NL-238 (第 5 回自然言語処理シンポジウム), pp. 1-5, 2018.

[6] Isao Goto, Ka Po Chow, Bin Lu, Eiichiro Sumita, and Benjamin K. Tsou. Overview of the patent machine translation task at the NTCIR-10 workshop. Proceedings of the 10th NTCIR Conference, pp. 260-286, 2013.

[7] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ond`rej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, 2007.

[8] Taku Kudo and John Richardson. Sentencepiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, 2018.

[9] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of NAACL-HLT 2019: Demonstrations, 2019.

[10] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: A method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.


# Understanding Why Polysemous Words Translate Poorly from a Calibration Analysis Perspective

Yucong $\mathrm{Wu}^{1} \quad$ Yusuke Miyao $^{1}$
${ }^{1}$ The University of Tokyo
wu-yucong725@g.ecc.u-tokyo.ac.jp yusuke@is.s.u-tokyo.ac.jp
}

\begin{abstract}
Neural machine translation models have difficulty in translating polysemous words accurately. We hypothesize that this is because the translation models have calibration errors, i.e., the models give too low probabilities to rare senses and too high probabilities to frequent senses. To test this hypothesis, we propose a calibration analysis framework that observes how calibration errors change under different setups. Calibration errors of models' predictions are measured in terms of sense frequency and part of speech. The results indicate that machine translation models are underconfident in less frequent translations and overconfident in more frequent ones.
\end{abstract
## 1 Introduction

Language learners often feel confused about certain usages of a word or phrase. Especially for those words with multiple meanings, it's hard to grasp the exact meaning or explanation for the whole sentence. Even though they refer to a dictionary, simple and abstract definitions sometimes make them feel more confused about the meaning of polysemous words. Resorting to machine translation unconditionally would not be a good choice [1].

In this paper, we perform calibration analysis on translation probability of polysemous words. Calibration analysis aims to figure out how and when we can trust and accept the translations produced by neural machine translation models. Calibration errors measure the difference between confidence score and prediction accuracy, and is a trustworthiness evaluation in high-stakes tasks like self-driving and medical diagnosis [2]. A model is called calibrated only when its prediction confidence matches its accuracy. Figure 1 shows two translations produced by a calibrated model given the English sentence. We could accept the

Figure 1: Two translations produced by a calibrated model. The numbers indicate the confidence score for the highlighted token

first sentence as the translation of 'edge' because its confidence is high. For the same reason, we should abandon the second because of the low confidence given by the calibrated model. Language learners can accept translations of the calibrated translation model based on its confidence.

We create a dataset containing polysemous words and their acceptable translation set to support our calibration analysis. We use accuracy-confidence plots to show the calibration errors of models on varied confidence bins. We also compare the tendencies of confidence distributions under different setups including sense frequencies and parts of speech. Our results show that machine translation models are underconfident in less frequent translations but overconfident in more frequent translations, which responses the question in the title.

## 2 Background

Calibration analysis has been applied to neural networks and machine translation models to help us know when the prediction could be trusted better. Guo et al. [3] observed that modern neural networks suffer from overconfidence about their predictions, and the lack of regularization might be a possible reason. Wang et al. [4] found that neural machine translation is not only overconfident in high-confidence predictions but also underconfident in low-confidence predictions. Kumar et al. [5] claimed that calibration helped improve interpretability, but the end-of-
sentence token is severely overconfident, causing translation to end quickly. Post-hoc calibration strategies including temperature scaling [6] and histogram binning [7] have been proposed to mitigate calibration errors produced by machine translation models.

DiBiMT [8] is an existing polysemous translation dataset. It evaluates whether different senses of polysemous words can be translated correctly. However, the previous polysemous translation dataset suffers from insufficient number of sentences and simple structures as we describe in Section 3.

Expected calibration error (ECE) is a popular metric to evaluate the extent of calibration errors of a model's prediction [9]. The confidence axis [0,1] is divided into bins with equal sizes, i.e., $B=\left.\{X_{1}, \cdots, X_{|B|}\right.\} . X$ is the set of all predictions. ECE is calculated among $|B|$ bins by using the weighted average of absolute differences between accuracy $\operatorname{Acc}(X)$ and confidence $\operatorname{Con} f(X)$.

$
E C E=\sum_{i=1}^{|B|} \frac{\left|X_{i}\right|}{|X|}\left|\operatorname{Conf}\left(X_{i}\right)-\operatorname{Acc}\left(X_{i}\right)\right|
$

$\operatorname{Con} f(X)$ is defined as the average of all prediction probabilities (Eq. 2), where $\Phi(x)$ is the prediction probability on the sample $x$ from the bin $X$. $\operatorname{Acc}(X)$ is defined as the ratio of correct predictions (Eq. 3), where $\hat{y}(x)$ indicates the prediction given by the model and $\square()$ is the indicator function:

$
\begin{aligned}
\operatorname{Conf}(X) & =\frac{1}{|X|} \sum_{x \in X} \Phi(x) \\
\operatorname{Acc}(X) & =\frac{1}{|X|} \sum_{x \in X} \square(\hat{y}(x)=y)
\end{aligned}
$

## 3 Method

In this research, we investigate the translation quality of polysemous words using calibration error analysis. We collect a translation corpus containing polysemous words to support our calibration analysis. All of our corpora are obtained or transformed from Projekt Deutscher Wortschatz [10] Corpora English and WordNet [11] example sentences. We create a dataset with two thousand sentences containing polysemous words from the collected corpora. Our dataset consists of triples $(s, l, \mathscr{G})$, where $s$ is a source sentence, $l$ is a dictionary form (lemma) of a target polysemous word, and $\mathscr{G}$ is a set of acceptable translations

Table 1: Statistics of translation datasets containing polysemous words

for $l$. An example is:

("I'm a little on edge right now.", edge, $\{$ 緊張 $\}$ )

Table 1 compares the major statistics of our created dataset with DiBiMT. It shows that our dataset provides a larger number of sentences for each polysemous word, and the average length indicates our dataset contains sentences with more complicated structures.

Calibration analysis is to observe how ECE and translation accuracy would change in different groups of polysemous words. The groups are divided based on sense frequencies or POS tags. ECE is used to measure the extent of calibration errors for translation probability of polysemous words. $S$ represents the source sentence, $X$ for the polysemous word, $Y=Y_{1} \cdots Y_{N}$ for the translation sequence. $M(S, X, Y)$ indicates the index set in $Y$ corresponding to $X$. The translation probability $\Phi(X, Y)$ of polysemous word is defined below:

$
\Phi(X, Y)=\prod_{t \in M(S, X, Y)} P\left(Y_{t} \mid X, Y_{<t}\right)
$

We run M2M100 [12] translation models on our dataset using its initial setup. $\operatorname{Con} f(X)$ can be calculated by substituting $\Phi(x)$ in Eq. 2 with Eq. 4. $|B|$ is set to 10 . A translation is correct if and only if the corresponding translation of lemma is in $\mathscr{G}$.

## 4 Experiment

## 4.1 Analysis on Sense Frequency

We divide all senses into Most Frequent Sense (MFS), Frequent Senses (FS+), and Less Frequent Sense (LFS) based on their prior distribution in the corpus. MFS indicates the sense with the largest frequency, FS+ represents those senses in a descending order whose frequencies are cumulatively greater than $70 \%$, and other senses are called LFS.

Figure 2 demonstrates the calibration errors within MFS, FS+, and LFS groups, respectively. We discover that the

Figure 2: Accuracy-confidence plot for MFS, FS+, and LFS. The $\mathrm{X}$ axis shows confidence bins and the $\mathrm{Y}$ axis shows accuracy. Black bars indicate the minimum of accuracy and confidence, and red bars represent the difference between confidence and accuracy. The $45^{\circ}$ lines represent perfect calibration, i.e., accuracy matches confidence exactly. Under/over confidence depends on whether the red bar is above/below the line.

Table 2: ECE and accuracy for different sense frequencies

model is underconfident in low-confidence bins and overconfident in high-confidence bins when considering MFS samples only. The calibration of models changes slightly in FS+. In the highest confidence bin, it becomes underconfident. It shows well-calibrated in near high-confidence bins but still under-confident in low-confidence bins.

Comparing LFS with MFS and FS+, we find that the borderline between underconfident and overconfident bins moves to the left side of the axis from the 9th bin to the 7 th. The difference between accuracy and confidence within each bin, i.e., the area of red bars, also declines. Despite its low accuracy, it demonstrates that the model is much more calibrated in less frequent sense sample sets.

Table 2 exhibits ECE and translation accuracy when only MFS, FS+, and LFS are used, as well as the mix of MFS and FS+. We can see the marginal decrease in ECE and accuracy in the LFS set. Although the accuracy decreases in LFS, the lower ECE shows that the model is much more calibrated in less frequent sense samples. It would be misleading if the machine translation model shows high confidence scores in low-accurate predictions. Comparing FS+ to MFS, we can also observe a slight decrease in ECE and accuracy. Less frequent sense would reduce translation accuracy and lower expected calibration errors.

Figure 3 shows the confidence distribution of correct

Figure 3: Kernel density estimation (KDE) curves of confidence distributions in LFS, MFS, and FS+. The wider the horizontal line is, the larger the distribution density is. $($ Gaussian Kernel, bandwidth $=12$ )

translations. We extracted all correct translations and group these translations into LFS, MFS, and FS+ according to their sense frequencies to draw this figure. Observing the distribution of LFS, there is a peak on low confidence bins of the KDE curve. Low confidence for most predictions indicates that models are uncertain about their decision even though it is correct. The current LFS group consists of all the samples we concern about, i.e., rare senses of polysemous words. The peak on low confidence bins indicates that the model is inclined to put too low probabilities on these tokens. This conclusion gives an available response toward the question in the title.

MFS shows different tendencies than LFS and FS+. Its peak is in the upper of the confidence axis and MFS puts less weight on the low confidence bin. The distribution

Figure 4: Accuracy-confidence plot for adjectives, nouns, and verbs.

Table 3: ECE and accuracy for different POS

shows that models are confident about their translations of the most frequent sense. The reason is thought to be that models have seen sufficient numbers of MFS samples during training, and learned the pattern for collocation of MFS and other words, and hence uncertainty like LFS and FS+ disappears. The KDE curves of MFS, FS+, and LFS differ in shapes. LFS and FS+ are similarly bowlingshaped, whereas MFS is like a spindle.

## 4.2 Analysis on Part of Speech

Figure 4 illustrates calibration errors for adjectives, nouns, and verbs. All three major POS are underconfident in low-confidence bins but differ a little in highconfidence bins. Nouns and verbs are overconfident in high-confidence bins, while adjectives are underconfident in high-confidence bins. Verbs have higher accuracy in low-confidence bins than nouns. Adjectives are underconfident among all confidence bins.

Table 3 shows that noun senses have the smallest ECE, and adjectives have the largest. Adjectives have the lowest accuracy, but nouns have the highest accuracy.

Figure 5 analyzes the confidence distribution of correct translations for nouns, verbs, and adjectives. If a lemma has two senses with different POS, it will be much easier for models to discriminate its sense and translate it into correct expressions. Because nouns are the largest senses, there are plenty of lemmas having both noun and other POS senses. Therefore, the density would focus on and above

Figure 5: KDE curves for nouns, verbs, and adjectives. $($ Gaussian kernel, bandwidth $=12)$

the middle bins and the KDE curve of the noun distribution looks like bell-shaped distribution. Verbs and adjectives have similar spindle-shapes in confidence distribution, i.e., the lower confidence bins have a higher frequency density whereas higher confidence bins have a lower density.

## 5 Conclusion

We created a machine translation test set containing polysemous words based on Projekt Deutscher Wortschatz and WordNet. We applied calibration analysis to the quality of polysemous word translation to investigate why polysemous words translate poorly. The proposed framework contains a comprehensive analysis on sense frequency and POS. Our analysis on sense frequency provides an effective perspective to show how the calibration errors of models change as sense frequency decreases. We also discover that nouns, verbs, and adjectives differ in confidence distribution shapes. Correct translations in LFS tend to report relatively low confidence, and this could response to the question in the title.

## References

[1]Frederick Liu, Han Lu, and Graham Neubig. Handling homographs in neural machine translation. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pages 1336-1345, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[2]Holger Caesar, Varun Bankiti, Alex H. Lang, Sourabh Vora, Venice Erin Liong, Qiang Xu, Anush Krishnan, Yu Pan, Giancarlo Baldan, and Oscar Beijbom. nuscenes: A multimodal dataset for autonomous driving, 2019.

[3]Chuan Guo, Geoff Pleiss, Yu Sun, and Kilian Q. Weinberger. On calibration of modern neural networks. In Proceedings of the 34th International Conference on Machine Learning - Volume 70, ICML'17, page 1321-1330. JMLR.org, 2017.

[4]Shuo Wang, Zhaopeng Tu, Shuming Shi, and Yang Liu. On the inference calibration of neural machine translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 3070-3079, Online, July 2020. Association for Computational Linguistics.

[5]Aviral Kumar and Sunita Sarawagi. Calibration of encoder decoder models for neural machine translation. CoRR, abs/1903.00802, 2019.

[6]PLATT J. C. Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods. Advances in Large Margin Classifiers, 1999.

[7]Bianca Zadrozny and Charles Elkan. Obtaining calibrated probability estimates from decision trees and naive bayesian classifiers. In Proceedings of the Eighteenth International Conference on Machine Learning, ICML '01, page 609-616, San Francisco, CA, USA, 2001. Morgan Kaufmann Publishers Inc.

[8]Niccolò Campolungo, Federico Martelli, Francesco Saina, and Roberto Navigli. DiBiMT: A novel benchmark for measuring Word Sense Disambiguation biases in Machine Translation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 4331-4352, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[9]Mahdi Pakdaman Naeini, Gregory F. Cooper, and Milos Hauskrecht. Obtaining well calibrated probabilities using bayesian binning. In Proceedings of the Twenty-Ninth AAAI Conference on Artificial Intelligence, AAAI'15, page 2901-2907. AAAI Press, 2015.

[10]Uwe Quasthoff. Projekt deutscher wortschatz. In Gerhard Heyer and Christian Wolff, editors, Linguistik und neue Medien. Proc. 10. Jahrestagung der Gesellschaft für Linguistische Datenverarbeitung., Wiesbaden, 1998. Deutscher Universitätsverlag.

[11]George A. Miller. WordNet: A lexical database for English. In Human Language Technology: Proceedings of a Workshop held at Plainsboro, New Jersey, March 8-11, 1994, 1994.

[12]Angela Fan, Shruti Bhosale, Holger Schwenk, Zhiyi Ma, Ahmed El-Kishky, Siddharth Goyal, Mandeep Baines, Onur Celebi, Guillaume Wenzek, Vishrav Chaudhary, Naman Goyal, Tom Birch, Vitaliy Liptchinsky, Sergey Edunov, Edouard Grave, Michael Auli, and Armand Joulin. Beyond english-centric multilingual machine translation. J. Mach. Learn. Res., 22(1), jul 2022.


# 日英翻訳を対象としたイディオム表現の評価指標の提案

廣瀨惟歩 1 渡辺太郎 ${ }^{1}$
1 奈良先端科学技術大学院大学 自然言語処理学研究室
\{hirose.yuiho.ia8, taro\}@is.naist.jp

## 概要

ニューラル機械翻訳（NMT）の課題の一つして， イディオムなどの非構成的な表現の翻訳が挙げられ る. NMT システムは原文を単語単位で解釈して翻訳するため，非構成的な意味を有するイディオム表現に対しては誤訳が度々生じる。また，既存の自動評価指標は局所的な評価ができず，イディオム表現 の翻訳性能の評価には適さないという問題点があ る. 本研究では, 日本語と英語を対象に，イディオ 么表現の翻訳性能の評価に適した新たな自動評価指標を提案する。具体的には，目的言語側でイディオ ム表現を検出し，その個数と原言語側のイディオム 表現の個数とを比較して, 翻訳モデルの性能を評価 する. 実験の結果，BLEU や BERTScore でのスコア の高さと，全体の出力訳含まれる正しいイディオ ム表現の割合は翻訳モデルによって傾向が異なるこ とが判明した。

## 1 はじめに

Transformer[1] などのニューラル機械翻訳（NMT） システムにとって，複合語表現（MWE）の翻訳は 現状の課題の一つである. MWE の中でも，イディ オム表現は非構成的な意味を持ち, 構成される単語 からは意味を推測できない場合が多い表現である。 NMT システムは翻訳対象となる文章の意味が構成的であることを前提として翻訳を行うため，イディ オム表現を文字通りに解釈する傾向にある。その結果，イディオム表現を直訳もしくは省略する翻訳エ ラーが多々発生する。

また，イディオム表現の翻訳の評価に適した自動評価指標が存在しないことも課題の一つとして挙げ られる．BLEU[2]を始めとするグローバル評価指標 は，翻訳文の全体を考慮するものであり，局所的な 評価ができないため，イディオム表現の翻訳性能の 評価には適さない. イディオム表現の翻訳結果を自動的かつ定量的に評価するには, 既存のグローバル評価指標とは別に，翻訳文の特定の箇所に絞った専用の評価指標が必要とされる.

イディオム表現に対する自動評価指標の先行研究として, Shao ら [3] は英語と中国語のペアを対象 に，イディオム表現を直訳した際に生じるであろう 単語を登録したリストを活用する方法を提案した。具体的には, 翻訳モデルが出力した翻訳文のうち, このリストに登録された単語を含むものの割合を評価スコアとしている. しかし, この手法には, 対応 する単語を逐一手動でリストに登録しなければなら ないという欠点が存在する.

本研究では，日英翻訳を対象とした，イディオム 表現の翻訳性能を評価するための新たな自動評価指標を提案する. 具体的には，イディオム検出器に よって出力訳のイディオム表現を自動的に抽出し，出力訳と参照訳に含まれるイディオム表現の割合の 類似度で翻訳モデルを評価する。

イディオム検出器の構築，並びに既存の翻訳モデ ルでの日英翻訳に対する評価実験の結果，BLEU と BERTScore のスコアが最大である翻訳モデルと，提案手法での評価スコアが最大である翻訳モデルが異 なると判明した.この結果は, BLUE や BERTScore といったグローバル自動評価指標では, 機械翻訳の 出力訳に含まれるイディオム表現を正しく認識でき ないことを示していると言える。

## 2 関連研究

イディオム表現の翻訳結果を BLEU などのグロー バル評価指標で評価した研究は, Fadaee ら [4]によ るものを始め, 数多く存在する. Fadaee らの研究で は，イディオム表現に特化したデータセットの機械翻訳結果の BLEU スコアが，イディオム表現を含ま ない標準データセットの機械翻訳結果よりも低下し たことが示されている.

イディオム表現の自動評価指標に関する先行研究には, Zaninello ら [5] によるものが挙げられる. Zaninello らは英語とイタリア語のペアを対象に，

MEW に対する参照訳と出力訳を文字単位で考慮し，双方のレーベンシュタイン距離を算出して，データ セット全体の評価スコアを得る手法を考案した。

他にも，Shao ら [3] は英語と中国語のぺアを対象 に，イディオム表現に対する自動評価指標として，独自で構築したブラックリストを用いた評価方法を 提案した. このリストには，対象となるイディオム 表現を直訳した際に生じると思われる単語が登録さ れる。そして，イディオム表現を含む文章を機械翻訳モデルに翻訳させ，出力された全ての文字列のう ち，リストに登録された単語を含むものの割合を評価スコアとしている.

Shao らの手法では手作業でこのブラックリスト を構築しているが，Christos ら [6] はこの研究をもと に，自動アルゴリズムを活用して故意にイディオム 表現の直訳エラーを起こし，それによって得られた 単語を自動的にリストに登録する手法を提案した。

## 3 提案手法

本研究では，イディオム表現の自動検出器を作成 し，それぞれの出力訳および参照訳の文中からイ ディオム表現を自動的に抽出して, 全体の出力訳の うち, 参照訳と同様のイディオム表現がどれほど含 まれているかによって翻訳モデルの性能を評価する 指標を提案する.

## 3.1 イディオム表現の自動検出

初めに，出力訳に含まれるイディオム表現の候補 が実際に比喻的な意味であるのか，あるいは文字通 りの意味であるのかを判別するためのイディオム 検出器を作成する. 自動検出器を作成するには，イ ディオム表現を含む例文を用意し，各文のイディオ ム表現の位置をアノテーションした上で学習を行 う必要がある. 本研究ではイディオム表現を含む例文のリストとして, Wiktionary のイディオムカテゴ リ1)を活用した. このカテゴリには 7990 種類の英語のイディオム表現が掲載されており，その内 5519 種類のイディオム表現には用例も掲載されている.

これらの用例を抽出し, 各英文の単語に BIO/BIEO タグ形式でイディオム表現の位置をアノテーション したデータセットを用いて，BERT[7]の系列ラベリ ングモデルでタグの推論を行い，イディオム表現の 自動検出器を作成した.

表 1 検出実験時のデータセットの内訳

## 3.2 評価手法

機械翻訳モデルの出力訳を $\hat{y}$ ，参照訳を $y$ とした とき，それぞれの訳文から抽出されたイディオム表現の個数（ $f(y)$ と定義）をもとに適合率，再現率， F1 スコアを計算する。すなわち，出力訳と参照訳 のそれぞれの訳文に含まれるイディオム表現の数が 同等であれば，それらは一致しているという仮定を 置き，その上で対象となる翻訳モデルがどれほどイ ディオム表現を出力できるかを見てその性能を評価 する。この仮定を置いた理由は，イディオム表現が 検出されたとしても，該当する出力訳と参照訳で単語列が完全に一致することは稀であると判断したた めである. 訳文の総数を $n$ とすると，提案手法の適合率 (Pre.)，再現率（Rec.）はそれぞれ (1)，(2) 式の ように表される.

$
\begin{aligned}
\text { Pre. } & =\frac{\sum_{i=1}^{n} \min \left(f\left(\hat{y}_{i}\right), f\left(y_{i}\right)\right)}{\sum_{i=1}^{n} f\left(y_{i}\right)} \\
\text { Rec. } & =\frac{\sum_{i=1}^{n} \min \left(f\left(\hat{y}_{i}\right), f\left(y_{i}\right)\right)}{\sum_{i=1}^{n} f\left(\hat{y}_{i}\right)}
\end{aligned}
$

## 4 実験

## 4.1 イディオム表現の検出

イディオム検出器の train 及び test データセット は，上述した Wiktionary のイディオムカテゴリに掲載された用例を抽出して構築した。具体的には，抽出によって得られた 12,851 文の英文を 9:1 の割合で train と test データセットに分け, 双方のデータセッ トに対して, OpenSubtitle2016コーパスから抽出し たイディオム表現のない英文を追加した. イディオ ム検出器の学習, 評価に用いたデータセットの内訳 を表 1 に示す.

英文中のイディオム表現をモデルに認識させるた め, 英文の各単語に $\mathrm{B}, \mathrm{I}, \mathrm{O}$, もしくは（BIEO 方式の 場合）Eのタグを割り当て，train データを用いてモ デルに文中のイディオム表現のタグ及びスパンを学
表 2 イディオム検出の各スコア

図1タグを割り当てた例文

習させた. 具体的には，イディオム表現の始めの単語には Bを，それ以降のイディオム表現を構成する 単語には Iを，イディオム表現の終わりの単語には $\mathrm{E}$ を，それ以外の単語には $\mathrm{O}$ を割り当てた. 英文に タグを割り当てた例を図 1 に示す.

なお，学習モデルは BERT モデル [7] の一種であ る Bert-base-multilingual-cased を使用した。学習時の 設定は BIO/BIEO タグともに max_seq_length $=128$ と した.

## 4.2 イディオム表現の翻訳

イディオム表現の翻訳に用いるデータセットの 構築には, OpenSubtitle2016コーパス [8]を活用し た. OpenSubtitle2016 は映画や TV 番組の字幕を収集したコーパスであり, 英日データセットでは約 2,083,600 の対訳文が収録されている。このコーパ スを本研究に用いた理由は，イディオム表現は基本的にカジュアルな会話や文章で用いられるもので あり，字幕や小説に特化したコーパスであれば，イ ディオム表現が文中に出現する頻度が高いと判断し たためである.

このコーパスからイディオム表現を含む英文を 抽出するため, Wiktionary のイディオムカテゴリに 掲載されたイディオム表現のうち，例文が付属し た 5519 種類のイディオム表現を抽出し, それらと 動詞の態を適宜変更したものを併せてイディオム 辞書とした（例えば break the ice というイディオム があれば, broke the ice, breaking the ice, 及び broken the ice をリストに追加した).この辞書を用いて抽出を行った結果，イディオム表現の候補を含む英文 が 306,720 文得られた.これを 8:1:1 の割合で分け， 245,376 文を train データに，30,672 文を $\operatorname{dev}$ 及び test データに割り当てた。 これらのデータセットを基に，beam-searchを用 いた Fairseq, sampling を用いた Fairseq, Huggingface を活用して日英データセットで fine-tuning を行った T5-Base モデルの 3 つで学習を行い, test データセッ トで日英翻訳を実施した。その上で，各翻訳結果に 対して BLEU, BERTScore, 提案手法の 3 つのスコ アを計測し。異なる翻訳モデルに対して提案手法に よる評価スコアがどのような傾向を示すのかを確認 した。なお, Fairseq と T5-Base の学習時の設定は双方ともに学習率 $7 \mathrm{e}-4$, epoch 数 30 , 最大トークン数 6000 とし，翻訳時の設定は beam-width $=5$ とした.

## 5 結果

## 5.1 イディオム検出器の評価

検出モデルの評価は，BIO タグ方式と BIEO タグ 方式それぞれに対し，Tag-base と Span-base の両方 で行った. イディオム表現の検出モデルによる予測結果の各スコアを表 2 に示す.

表 2 の Tag-base で，Pre. はモデルが予測した B， I，Eタグのうち実際に正解である割合， Rec. は test データセット内の $\mathrm{B}, \mathrm{I}, \mathrm{E}$ タグのうちモデルが正し く予測できた割合を示す. Span-baseでは，Pre. はモ デルが予測したスパンのうち正解と完全一致する割合，Rec. は test データセット内のスパンのうちモデ ルが予測したスパンと完全一致する割合を示す.

表 2 を見ると，BIO タグ方式のスコアが $\mathrm{BIEO}$ タ グ方式のスコアを全体的に上回っており，正解率に 関しては双方ともに 96\%以上を記録していることが 分かる。一方で，Span-base における再現率は最高 でも $64 \%$ に留まっており, test データセットのうち 6 割ほどのイディオム表現のスパンしか検出できな かったことが窥える。

## 5.2 翻訳結果の評価

beam-search もしくは sampling を用いた Fairseq，並 びに T5-Base モデルに対する BLEU，BERTScore，提案手法のスコアを表 3 に示す. BIO と BIEO の項は，翻訳モデルの出力訳に対して BIO もしくは BIEO 夕
表 3 イディオム翻訳の評価結果

図 2 タグ予測の例

グで学習したイディオム検出器でイディオム表現の 抽出を実行し，抽出されたイディオム表現をもとに 提案手法での評価を行った結果を表す。

表 3 の提案手法の項目を見ると，BIO 及び BIEO ともに全ての翻訳モデルの適合率が低く，イディオ ム表現が含まれる英文を翻訳モデルがさほど出力 できなかったことが窺える．T5-Base に関しては， BLEU と提案手法の適合率の双方で低い結果が出て いる。一方で翻訳モデルごとの評価スコアを見る と, BLEU, BERTScore ともに beam-search を利用し た Fairseq が最大であるのに対し，提案手法でのス コア算出法では，sampling を利用した Fairseq が最も 高いスコアを出している。

## 6 分析

## 6.1 イディオム表現の検出

作成したイディオム検出器の性能を測る実験にお いて, 検出器の予測結果を見ると, 図 2 のように, イディオム表現の途中に目的語などが入る場合には タグを正しく推測できないケースが多く見られた。 このような長大かつ語彙的変化を受けているイディ オム表現を正確に検出させるためには，目的語の異 なるイディオム表現のデータを充実させ, 検出器の 学習の段階でイディオム表現のパターンを認識させ る必要があると思われる。

また，実際にはイディオム表現でない箇所を検出器が誤検出したケースも多々見られた。一方で，実際にはイディオム表現であるにも拘らず，データ セットの構築段階でアノテーションされていなかっ たものを検出できていた場合も少数ながらあった。

図 3 翻訳モデルの出力訳の例

## 6.2 イディオム表現の翻訳

イディオム表現の翻訳に関する実験において，各翻訳モデルの翻訳結果の一例を図 3 に示す.ここ で，原言語側の日本語文は「あなたは短気を起こ すべきじゃなかった」，目的言語側の英文は「You shouldn't have lost your temper」であり，含まれるイ ディオム表現は lost your temper である. 表 3 に示さ れている通り，sampling を用いた Fairseq は参照訳と ほぼ同様のイディオム表現を出力できている.

## 7 結論と今後の課題

本研究では，イディオム表現の機械翻訳という分野を対象に，全体の出力訳のうち，参照訳と同様の イディオム表現を含む割合をスコアとする評価指標 を提案した。実験の結果，BLEU や BERTScore での スコアが比較的高い翻訳モデルでも，イディオム表現を含む文章を出力するのは困難であることが判明 した.

今後の課題として，イディオム表現の検出に関し ては，語彙的変化を受けるイディオム表現や，途中 に長い目的語を取るイディオム表現を正確に検出す る方法を探る必要がある.

また，提案手法の評価指標についても，他の翻訳 モデルに対して同様の実験を行い，イディオム表現 に対する出力訳の傾向や，提案手法と既存の評価指標との相関関係を確認する必要がある，加えて，本研究では参照訳と出力訳に含まれるイディオム表現 は一致しているという仮定を置いたが，将来的には BERT のベクトル表現を活用し, 双方の距離の近さ を見る必要もある.

## 謝辞

本研究は JSPS 科研費 JP21H05054 の助成を受けた

ものである.

## 参考文献

[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. 2017. https: //arxiv.org/abs/1706. 03762.

[2] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Annual Meeting of the Association for Computational Linguistics, 2002.

[3] Yutong Shao, Rico Sennrich, Bonnie Webber, and Federico Fancellu. Evaluating machine translation performance on Chinese idioms with a blacklist method. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[4] Fadaee Marzieh, Bisazza Arianna, and Monz Christof. Examining the tip of the iceberg: A data set for idiom translation. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[5] Andrea Zaninello and Alexandra Birch. Multiword expression aware neural machine translation. In Proceedings of the Twelfth Language Resources and Evaluation Conference, 2020.

[6] Christos Baziotis, Prashant Mathur, and Eva Hasler. Automatic evaluation and analysis of idioms in neural machine translation. 2022. https://arxiv.org/abs/2210.04545.

[7] Devlin Jacob, Chang Ming-Wei, Kenton Lee, and Toutanova Kristina. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019.

[8] Pierre Lison and Jörg Tiedemann. OpenSubtitles2016: Extracting large parallel corpora from movie and TV subtitles. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16), 2016.


# 双方向翻訳モデルの相互学習による 対訳語彙の教師なし獲得過程の調査

谷川玩磨秋葉友良塚田元
豊橋技術科学大学
\{tanigawa.takuma.fu, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp

## 概要

本稿では，データ拡張手法である Iterative Backtranslation（IBT）を用いたドメイン適応による単言語資源からの知識獲得について調査を行った. 我々 の先行研究では，2 言語の単言語コーパスに分かれ て出現する互いに翻訳関係にある語のぺア (対訳語彙) であっても，IBTを繰り返すことで次第に対訳 として翻訳できるようになることを明らかにした。今回の実験では，それらの対訳語彙について，詳し い獲得の過程や条件について掘り下げを行った. そ の結果，対訳語彙の獲得には，単言語データでの対訳語彙の出現回数が関係していることが明らかにな るとともに，対訳語彙が出現する文中の文脈が関係 していることが示唆された.

## 1 はじめに

ニューラル機械翻訳（NMT）の翻訳精度には学習 データに使用する対訳コーパスの量と質が大きく関 わっている. しかし, 特定のドメインでは十分な量 の対訳コーパスを用意することが困難であるとい う問題がある。 そこで，比較的収集が容易な単言語 コーパスを用いる手法が提案されている。そのよう な手法の一つとしてデータ拡張手法である Iterative Back-translation(IBT)[1][2][3][4] を用いたドメイン適応が知られている. IBT は，翻訳対象言語対の 2 つ の単言語コーパスを相互に逆翻訳とモデルの更新を 繰り返し行うことで，疑似対訳データと翻訳モデル の質を向上させることができる.

我々の先行研究 [5] では IBT による単言語コーパ スからの知識獲得の過程を，2 言語の単言語コーパ スのみに出現する互いに翻訳関係にある語のペア (対訳語彙) の獲得を調べることによって調査した. その結果，対訳語彙は IBT の反復を繰り返すごとに 獲得していき，最終的には獲得可能な 6 割以上の対訳語彙を獲得できていることがわかった.しかし，対訳語彙の詳しい獲得過程や獲得条件などについ ては明らかにはできていなかった。そのため本稿で は，対訳語彙の獲得についてさらなる掘り下げを 行った. 具体的には，単言語データでの対訳語彙の 出現頻度が対訳語彙獲得率に与える影響, 対訳語彙 ごとの IBT の逆翻訳結果上での獲得率，獲得できな かった対訳語彙について調査を行った。その結果,対訳語彙の獲得過程については，テストデータで獲得できていた対訳語彙の約 7 割が，IBT の 1 回目の 逆翻訳時点でどちらかの翻訳方向で少なくとも 1 箇所で翻訳結果に出力できている事がわかった。ま た，単言語コーパスのどこかで 1 度でも翻訳に成功 すれば，その後の反復で次第に他の箇所でも翻訳が 成功するようになり，対訳語彙獲得につながること が観察された。 さらに，獲得の条件については，単言語データ上での出現回数が重要であることがわ かった。加えて，対訳語彙の獲得には語の出現する 文脈が大きく関係していることも示唆された.

## 2 Iterative Back-translation(IBT)

Iterative Back-translation(IBT) によるドメイン適応手法の手順を説明する．ここで，Xと $\mathrm{Y}$ はそれぞれ の言語を示し，言語 $\mathrm{X}$ から Y の翻訳を X-Y，Y から $\mathrm{X} へ$ の翻訳を $\mathrm{X}-\mathrm{Y}$ と記す。

1. ドメイン外の対訳コーパス $\mathrm{C}_{\mathrm{X}}^{\text {out }}$ と $\mathrm{C}_{\mathrm{Y}}^{\text {out }}$ を用い $\tau$, Model $_{\mathrm{X}-\mathrm{Y}} 0$ と Model $_{\mathrm{Y}-\mathrm{X}} 0$ を学習する.

2. i 初期化して以下を反復する。

2.1 ドメイン内単言語コーパス $\mathrm{C}_{\mathrm{Y}}^{\mathrm{in}}$ Model $_{\mathrm{Y}-\mathrm{X}} \mathrm{C}$ により翻訳し，疑似対訳コー パス ( $\mathrm{C}_{\mathrm{X}}^{\text {in }}, \mathrm{C}_{\mathrm{Y}}^{\text {in }}$ ) を作成する. 疑似対訳コー パスと $\left(\mathrm{C}_{\mathrm{X}}^{\text {out }}, \mathrm{C}_{\mathrm{Y}}^{\text {out }}\right.$ )を結合した学習データ を用いて， Model ${ }_{X-Y}$ から Fine-tuning を行 い Model $_{\mathrm{X}-\mathrm{Y}}(\mathrm{i}+1)$ を学習する.

2.2 ドメイン内単言語コーパス $\mathrm{C}_{\mathrm{X}}^{\mathrm{in}}$

図 1 Iterative Back-translation の手順

Model $_{\mathrm{X}-\mathrm{Y}} \mathrm{i}$ により翻訳し，疑似対訳コー パス ( $\left.\mathrm{C}_{\mathrm{Y}}^{\text {in }}, \mathrm{C}_{\mathrm{X}}^{\mathrm{in}}\right)$ を作成する. 疑似対訳コー

を用いて， Model $\mathrm{Y}_{\mathrm{X} \text { X }}$ から Fine-tuning を行 い $\operatorname{Model}_{\mathrm{Y}-\mathrm{X}}(\mathrm{i}+1)$ を学習する.

## $2.3 \mathrm{i \leftarrow \mathrm{i}+1$}

IBT により対訳語彙が獲得される原理は，次のよ うに説明できる. 言語 $X$ の語 $x$ と $Y$ の語 $y$ が対訳語彙 $(x, y)$ であったとする. IBT の初期の翻訳モデル Model $_{X-Y} 0$ では $X$ の単言語コーパスに出現する $x$ を $y$ に翻訳する事はできないはずである。しかし，逆翻訳によって生成される擬似対訳には，X言語側 には単言語コーパスの $x$ を含む文そのままが， $Y$ 言語側には $(y$ は出現しないとしても)“ $x$ のコンテキ ストの翻訳”( $\approx$ “ $y$ のコンテキスト”)を含む文が得ら れる. この擬似対訳を使って Model $_{Y-X} 1$ を学習す ると,$y$ および“ $y$ のコンテキスト”は， $x$ および “ $x$ のコンテキスト”に翻訳される可能性が出てくる. IBT の反復を繰り返すにつれて，次第に $(x, y)$ を含 む擬似対訳が生成される確率も上昇し, 最終的に対訳語彙が獲得されると考えられる。

## 3 調査手法

ドメイン内知識の獲得の過程を確認するために，本実験では対訳語彙の獲得を調査した。言語 $\mathrm{X}$ と言語 $\mathrm{Y}$ の対訳語彙獲得を調査するために行った手順は 以下のとおりである.表 1 種類ごとの対訳語彙の例

1. ドメイン内の学習データに存在する単語とドメ イン外の学習データに存在する単語について, それぞれのドメインの学習データから単語を列挙することで調べる。それによりテストデータ 中のドメイン内にのみ存在する単語を特定し， そのようにして特定した単語の集合を $\mathrm{D}_{\mathrm{X}}$ と $\mathrm{D}_{\mathrm{Y}}$ とする.

2. 単語アライメントツール (Moses[6] 付属の GIZA++)を用いて言語 $\mathrm{X}$ と言語 $\mathrm{Y}$ のテストデー タ間の単語アライメントを作成する。そのアラ イメントの単語対応がともに $\mathrm{D}_{\mathrm{X}} ， \mathrm{D}_{\mathrm{Y}}$ に含まれ ているもの $\mathrm{T}=\left.\{\left(\mathrm{w}_{\mathrm{X}}, \mathrm{w}_{\mathrm{Y}}\right) \mid \mathrm{w}_{\mathrm{X}} \in \mathrm{D}_{\mathrm{X}}, \mathrm{w}_{\mathrm{Y}} \in \mathrm{D}_{\mathrm{Y}}\right.\}$ を 対訳語彙とする。

3. IBT の翻訳モデルによってテストデータの翻訳 を行い， $\mathrm{T}$ の対訳語彙の入力側の単語 $\mathrm{w}_{\mathrm{X}} \in \mathrm{D}_{\mathrm{X}}$ それぞれに対して，翻訳結果に対応した単語 $\mathrm{w}_{\mathrm{Y}} \in \mathrm{D}_{\mathrm{Y}}$ が出力されていれば，その対訳語彙が 獲得できているとする。

4. モデルごとの対訳語彙の獲得を比較するため に，全テストデータの対訳語彙の入力延べ数に 対する対訳語彙を獲得できた割合を対訳語彙獲得率と定義する。

## 4 実験

先行研究の BPE での実験結果をもとにさらなる 対訳語彙の調査を行った. まず，対訳語彙について 幾つかの種類に区別を行い，それぞれの種類ごとの 対訳語彙の獲得について調査を行った. 区別した種類として，対訳語彙のペアがそれぞれ同じ単語であ る「自明」，対訳語彙のペアが自明な語以外で翻字 の関係にある「カタカナ」, 日本語側の対訳語彙が すべて漢字である「漢字」，以上のどれにも当ては まらない「その他」の 4 種類に区別した. 種類ごと の対訳語彙の例を表 1 に示す. 以降の分析は，「そ の他」を除く前者 3 種類について行った。
表 2 モデルごとの逆翻訳できた対訳語彙の割合の一例

図 2 学習データでの出現回数ごとの対訳語彙獲得率

表 3 誤った翻訳の一例

## 4.1 学習データ中での出現回数

対訳語彙が単言語データ中に出現する回数が対訳語彙獲得率にどのように影響するかを調べるため に, 対訳語彙の出現回数ごとの対訳語彙獲得率調べ た. 英日方向でのそれぞれの種類と出現回数ごとの 対訳語彙の獲得率についての結果を図 2 に示す. 出現回数が多い場合「自明」が最も高く,「カタカナ」 と「漢字」の対訳語彙が同じくらいの結果となっ た.また「「カタカナ」と「自明」は学習データ中で の出現回数が少ない対訳語彙でも獲得されていた. これはこの 2 種類は対訳語彙のペアが翻字の関係で あることが関係していて，自明な語の場合は特にサ ブワード化の影響を大きく受けているからだと考え られる。

図 3 Modeliごとの初めて翻訳結果に出力できた対訳語彙の割合

## 4.2 対訳語彙の獲得過程

対訳語彙の獲得の過程について詳しく調査を行 うために，単言語コーパスの逆翻訳結果を観察し， IBT の Model i がどの程度対訳語彙のソース側を ターゲット側に翻訳できているかの割合 (翻訳率)を 調査した. 調査の対象とする対訳語彙については, サブワードの影響を受けづらい「漢字」について，人手でチェックを行ったもののみを対象とした. 獲得過程の結果の一例を表 2 に示す.

対訳語彙の「増幅器」と「amplifier」の例から見 て取れるように，翻訳率は IBT を繰り返すごとに上昇していた。そのため，対訳語彙はある時点で急に 獲得されるというわけではなく, 反復を繰り返すこ とによって徐々に獲得されていくということが分か る。一方，対訳語彙の「同軸」と「coaxial」の場合 は，Mode18 までほとんど割合が上昇することはな かった. 実際，この対訳語彙はテストデータ上でも 獲得に失敗している。

英日，日英の両方向でのテストデータで獲得する ことができていた対訳語彙について，それが始め て逆翻訳結果に出現した Model i 調べた. 結果を 図 3 に示す.この結果から, 約 7 割の対訳語彙は Model 1 から疑似対訳コーパス上に出現しているな ど，多くの対訳語彙は早い段階から獲得が進んでい

図 4 英独実験での対訳語彙獲得率

表 4 英独実験で獲得できた対訳語彙の例

ることが分かる.

## 4.3 獲得できなかった対訳語彙の調査

獲得できていない対訳語彙について注目して調査 を行った. 具体的には, 獲得できなかった対訳語彙 が本来翻訳される単語の代わりに何を翻訳している のかについて調べた。結果の一例を表 3 に示す.

ほとんどの獲得できなかった対訳語彙において，本来翻訳されるべき正しい単語の代わりに違う単語が学習されていた。表の対訳語彙の「coaxial」は 「同軸」と翻訳される代わりに「光ファイバ」と翻訳されることが多かった. これは「光ファイバ」と 「同軸」が出現するような文の文脈が近く，なおか つ「光ファイバ」のほうが学習データ中での出現頻度が高いため, 間違えて学習されてしまったと考え られる。これらの調査結果から, 語の出現する文中 の文脈が対訳語彙の獲得に大きく影響していること が示唆された。

一方，対訳語彙の「血友病」の場合は，「血友」を サブワード分割した「血」と「友」の訳語である 「blood」と「friend」に翻訳されていた. 本来の対訳「hemophilia」とも他の語とも文脈に基づく結び付け に失敗したと考えられる。

図 5 英独実験での BLEU

## 4.4 英独翻訳での対訳語彙獲得の調査

異なる言語間での対訳語彙の獲得を確認するため に，英語とドイツ語間での IBT によるドメイン適応実験を行った. データセットには WMT14 データ セットを使用して，News Commentaryコーパスから Europarl コーパスへのドメイン適応実験を行った. Europarl コーパスは単言語コーパスとして使用する ために，全文を半分に分割して英語には前半部分を 使用，ドイツ語には後半部分を使用した. テスト データには WMT06，07，08 の Europarl の test デー タを合わせた対訳 6000 文を使用した。実験条件に ついては先行研究と同様して行った. 対訳語彙獲得率の結果を図 4，BLEU を図 5 に示す. 獲得された 対訳語彙を表 4 に示す. 実験結果より，日本語英語間での実験と同様に対訳語彙を獲得できるというこ とが確認できた.

## 5 結論

本稿では，IBT による対訳語彙の獲得の過程と条件について詳しく調査を行った. IBT の対訳語彙の 獲得の過程については，IBT の反復を重ねるごとに 徐々に逆翻訳結果に対訳語彙が出現するようにな り，その疑似対訳コーパスを学習することで獲得し ていることが分かった。獲得条件については，対訳語彙が単言語コーパス上に出現する回数が，特に漢字の対訳語彙の場合は多いほど獲得には有利である ことが示された．また，対訳語彙の獲得には文脈が 大きく関係しているということが示唆された。

## 謝辞

本研究は JSPS 科研費 $18 \mathrm{H} 01062$ の助成を受けた.

## 参考文献

[1] Vu Cong Duy Hoang, Philipp Koehn, Gholamreza Haffari, and Trevor Cohn. Iterative back-translation for neural machine translation. In Proceedings of the 2nd workshop on neural machine translation and generation, pp. 1824, 2018.

[2] Zhirui Zhang, Shujie Liu, Mu Li, Ming Zhou, and Enhong Chen. Joint training for neural machine translation models with monolingual data. In Proceedings of the AAAI Conference on Artificial Intelligence, pp. 555-562, 2018.

[3] 森田知熙, 秋葉友良, 塚田元. 双方向の逆翻訳を利用し たニューラル機械翻訳の教師なし適応の検討. 情報処理学会研究報告 2018-NL-238 (第 5 回自然言語処理シ ンポジウム), pp. 1-5, 2018.

[4] 森田知熙, 秋葉友良, 塚田元. ニューラル機械翻訳の 反復的逆翻訳に基づくデータ拡張のための混成サン プリング手法. 電子情報通信学会論文誌, Vol. J106-D, No. 04, Apr. 2023. (to appear).

[5] 谷川玩磨, 秋葉友良, 塚田元. Iterative Back-translation は対訳語彙を獲得できるか? 言語処理学会, 第 28 回年次大会, pp. 354-359, 2022.

[6] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, 2007.


# ニューラル分類器の予測の解釈に基づく 翻訳が難しい表現の検出

坂口 典三 村脇 有吾 Chenhui Chu 黒橋 禎夫
京都大学大学院情報学研究科
\{n-sakaguchi, murawaki, chu, kuro\}@nlp.ist.i.kyoto-u.ac.jp

## 概要

修辞技法に代表されるような文化圏に特有な表現 は近年のニューラル翻訳モデルでも正しく翻訳する のが難しく, 原言語側で検出し，前編集することが 翻訳精度向上のための有望な方法であると考えられ る. そこで本研究では，日本語において翻訳が難し い表現を翻訳前に検出することを試みる。具体的に は，翻訳が難しい表現は母語話者が書いたテキスト に特徴的であるという仮説を立て，日本語テキスト が機械翻訳されたものかそうでないかを予測する ニューラル分類器を訓練し, 分類器の予測に寄与し た表現を翻訳が難しい表現として検出する. 実験に より，仮説の妥当性を裏付けるとともに，提案手法 が翻訳が難しい表現を検出できることを確認した。

## 1 はじめに

異なる言語間には語彙や文法だけでなく，その言語が用いられている文化圏に起因する文化差が表出することがある．例えば日本では「このお店は美味しい」という表現は一般的に用いられているが， Honna [1] によると英語圏では一般的に "restaurant" を “delicious”で形容することはない. この差異はメ トニミーにおける指示対象の対応関係が日本と英語圏で異なっていることに起因しており，さらには それぞれの文化によって生み出された差異だと言 える。

近年ニューラル言語モデルの登場により，機械翻訳は急速な進化を遂げ，従来訳すのが難しかった慣用句などは正しく訳される場合が増えている..し かし, 現在最も一般的に用いられている翻訳サービ スである DeepL ${ }^{11}$ でも「このお店は美味しい.」を “This restaurant is delicious”と訳してしまう。この例 が示すように，依然として機械翻訳では正しく翻訳

 \\

表 1 前編集による訳文の変化. 上段が原文で下段は下線部が前編集されている.

することが難しい文化差が存在する。コミュニケー ションにおける機械翻訳の実利用を考えたとき，こ のような文化差を乗り越えるためには，原言語側も しくは目的言語側で適応を行うという方向性が有望 であると考えられる．例えば，翻訳が難しい原言語側の表現が翻訳前に検出できれば，その部分を原言語側で翻訳しやすい表現に変えることで翻訳精度の 向上が期待できる (表 1 ).

本研究ではニューラル分類器の予測の解釈に基 づいて，翻訳が難しい表現を検出する手法を提案す る. 提案手法の概略を図 1 に示す. 日英翻訳を想定 したとき, 反対方向の英日翻訳器を用いることで,機械翻訳によって生成された日本語テキストを準備 する。そして，日本語母語話者が書いた日本語テキ スト (以下，日本語の原文)をこの訳文 (日本語)テキ ストと対照する．キーとなる仮説は，翻訳が難しい 表現は日本語の原文に特徵的であるというものであ る. そこで，まずこの 2 種類のテキストを識別する ニューラル分類器を訓練し, 次に, 分類器の予測に 対する入力テキスト中の特定の部分の寄与を明らか にする手法（以下，説明手法）を用いて日本語の原文という分類器の予測に最も寄与した部分を翻訳が 難しい表現として検出する.

上記の仮説を検証するために，分類器のスコアと 日英翻訳の精度の関係を調べたところ，分類器がよ り機械翻訳らしくないと予測した文ほど実際に翻訳精度が低かった。また，提案手法によって検出され た表現を人手で分析したところ，翻訳が難しい表現 を見つけられていることを確認した。

図 1 提案手法の概略

## 2 提案手法

本節では図 1 の下段において説明手法を用いる際 に行う工夫を本研究の提案手法として紹介する.

## 2.1 Continuously Relaxed Contextual Decomposition

提案手法は，翻訳が難しい表現の検出のために ニューラル分類器の説明手法を用いる. 分類器の説明手法は，分類器の予測に対して入力データ中のど の部分が強く貢献したかを明らかにする. 提案手法 のベースとなる contextual decomposition (CD) [2] は，分類器のスコアを入力テキスト中の任意のフレーズ による寄与とその他の部分による寄与に分解する. Murdoch ら [2] は CD LSTM [3] 分類器に適用した が，その後 Jin ら [4] がこの手法を BERT [5] に拡張 している. 本研究では BERT を用いる.

$\mathrm{CD}$ は, 分類器 $y=f(x)$ が $y=g_{L}\left(g_{L-1}\left(\ldots g_{1}(x)\right)\right)$ のように操作の再帰的適用で表せることに着目し，各操作 $g(x)$ に対して, $g^{\mathrm{CD}}(x)=(\beta(x), \gamma(x))$ (ただ し $\beta(x)+\gamma(x)=g(x))$ となるような近似的な分解を 定義する. ここで， $\beta$ は注目する入力内のフレーズ の寄与分， $\gamma$ を残りの寄与分である. 入力埋め込み 層に対して，トークン $t_{i}$ が注目するフレーズに含 まれるなら $\left(\beta\left(e_{i}\right)=e_{i}, \gamma\left(e_{i}\right)=0\right)$, 含まれないなら $\left(\beta\left(e_{i}\right)=0, \gamma\left(e_{i}\right)=e_{i}\right)$ とし, 分解操作を再帰的に適用すると，出力の予測スコア $y$ の分解が得られる.

$\mathrm{CD}$ を利用するには入力テキスト中で注目するフ レーズを決める必要があるが，トークン列長が $n$ の 入力テキスト $T=t_{1}, \cdots, t_{n}$ の全てのトークンの組合

図 $2 \mathrm{CRCD}$ の概略

せ (ただし不連続性を許容) を考慮するには $2^{n}$ 通り の CD の計算が必要となる.これは一定以上の長さ の文では計算量の観点から現実的ではない.

そこで $T$ の全てのトークンについて，注目するか 否かの離散値ではなく，0から 1 の連続值 (region)に 連続緩和する手法 Continuously Relaxed Contextual Decomposition (CRCD) を提案する。 CRCD の概略を 図 2 に示す. CRCD は，分解操作が適用されたネッ トワーク $g_{L}^{\mathrm{CD}}\left(g_{L-1}^{\mathrm{CD}}\left(\ldots g_{1}^{\mathrm{CD}}(x)\right)\right)$ も微分可能であるこ とに着目し，予測スコアの $\beta$ を最大化するような region を逆伝播を使った繰り返し計算により探索す る. 最後に 0 と 1 に離散化することで， region が 1 となっているトークン列を入力テキスト中で最もそ の分類らしい表現として検出する.

## 2.2 ニューラルモデル+BoW

分類器は単純に分類損失最小化を目指すだけであ り，日本語の原文と訳文 (日本語) のドメインの違い

図 $3+\mathrm{BoW}$ の概略

といった本質的ではない手がかりを使ってしまう危険性がある．この問題を緩和するために，単語レべ ルの手がかりに頼る非力な bag-of-words (BoW) 分類器を補助的に用いる手法 (+BoW) を提案する.

図 3 に手法の概略を示す。まず bag-of-words を用 いた分類器を単体で訓練する。次に BERT を訓練 するが，ここで先に訓練していた BoW 分類器が出力するロジットを利用する。訓練用のテキストを 入力した際の BERT が出力するロジットを $l_{\mathrm{BERT}}$, BoW 分類器が出力するロジット $l_{\mathrm{BoW}}$ とする. この 時 BERT の学習に用いる損失関数 loss は以下のよう に計算する。

$
\text { loss }=\mathrm{H}\left(\operatorname{expit}\left(\left(l_{\mathrm{BERT}}+l_{\mathrm{BoW}}\right) / 2\right), R\right)
$

ここで H は交差エントロピー誤差，expit はロジス

された損失関数を用いて BERT のパラメータのみを 更新する. BoW 分類器が単語レベルの手がかりに 基づくロジット $l_{\mathrm{BoW}}$ を提供するため，単語レベル の手がかりだけで分類できるテキストに対しては， BERT のパラメータはあまり更新されない。単語レ ベルの手がかりだけでは分類できなようなテキスト が入力された時，BERT のパラメータは大きく更新 される。こうして，BERT が単語レベルよりも深い 手がかりに注力するように誘導する。

## 3 実験

本節ではデータセットを構築し，そのデータセッ トを用いて分類器を訓練する。さらに検出方法の前提となる仮説を検証した上で，実際に翻訳が難しい 表現が検出できるか確認する。

## 3.1 データセット構築

データとして，日本語の原文，英語の原文，英語 から機械翻訳された訳文 (日本語) が必要となる。こ の訳文生成のためには英日翻訳モデルも訓練しなけ ればならない.

まず Wikipedia の本文から日英テキストを抽出し た. ただし，複数の言語版が存在する一般名詞を扱 うぺージのみを使用した。これはテキスト中に登場 する単語に日本語版のページにしか登場しないよ うな固有名詞が存在すると，分類器がそれに強く影響される恐れがあるからである。一般名詞の抽出に は森羅プロジェクト ${ }^{2}$ の成果を利用した. 森羅プロ ジェクトは Wikipedia 日本語版のタイトルに拡張固有表現を付与しており，階層ラベル 0 が一般名詞を 表している。 さらに各ページに記載されている他言語版へのリンク数が 35 以上となっているぺージを 抽出した。こうして抽出した英語版ページと日本語版ページの本文を文単位に分割し，1,073,431 万文の 英文と 648,507 万文の日本語文が得られた.

次に英日翻訳モデルを訓練した．Morishita ら [6] が公開している事前学習モデルを WikiMatrix [7] の 日英対訳データを用いて追加学習した。学習用デー タとして 479,315 文，テスト用データとして 1,000 文 の対訳データを用いた。訓練時のハイパーパラメー タは Morishita らの論文に基づく.

訓練したモデルを SacreBLEU [8] で精度を評価す ると 21.82 となった. 同じテストデータで DeepL の 英日翻訳精度を評価すると SacreBLEU は 16.75 であ り，訓練したモデルの精度が上回った。追加学習に より Wikipedia の文体にモデルが特化したためであ ると考えられる．このモデルを用いて英文を翻訳 することで，原文とあわせて $1,721,938$ 文の日本語 データが得られた.このデータ内の各文に対して は，機械翻訳で生成された文か日本語の原文かを示 すラベルが付されている。

また，後述の分析のために日英翻訳モデルを英日翻訳モデルと同じ設定で訓練した。上述のテス トデータで評価したところ，SacreBLEU は 27.76 と なった.

## 3.2 分類器の訓練

3.1 節で構築した日本語データを用いて日本語の 原文か訳文か予測する分類器を訓練した。1,000 文

をテストデータとして抽出し，残りのデータを訓練用データとして用いた. 分類器のモデルとして BERTと BoWを用いた.

BERT としては NICT が公開している事前学習モ デル ${ }^{3}$ を使用した。 また, BoW モデルは線形層 2 層 から構成されたニューラルネットを使用し, 入力文中の単語は BERT の埋め込み層を複製してべクトル 化した。単体での BERTとは別に, BERTを+BoW を用いて訓練した。

各モデルのテストデータにおける分類精度を表 2 に示す. BoW 以外のモデルはほとんど同じ精度と なった. BERT+BoW 設定で訓練した BERTを単体 で用いても精度が下がらなかったことから，データ セット内の文には単語レべルを超える手がかりが十分に存在していると推測できる.

## 3.3 分類結果と翻訳精度の相関

翻訳が難しい表現は日本語の原文に特異的に出現 し，英日翻訳によって生成された訳文には含まれて いないという仮説を検証した．もし仮説が妥当であ れば，分類器が判断した日本語の原文らしさと日英翻訳精度には負の相関があることが期待される。

3.1 節で機械翻訳モデルのテストに用いた WikiMatrix の対訳データから日本語文 1,000 文を選 んで単体で訓練した BERT に入力し，分類スコアを 計算した. ここでの分類スコアとは, 分類器が出力 する 2 つのロジットの差をとったものであり，分類スコアが大きいほど日本語の原文である可能性 が高いことを示す. さらに 3.1 節で訓練した機械翻訳モデルで日英翻訳を行い，文単位で翻訳精度を 計算した. 文単位の翻訳精度の評価指標としては SentBLEU [9] と BLEURT [10]を用いた.

翻訳精度と分類スコアの散布図を表 A. 1 に示す.翻訳精度と分類スコアのピアソンの積率相関係数を 計算すると, SentBLEUで -0.24 , BLEURT で -0.45 となった. SentBLEU は文ごとの n-gram を計算する ため，意味的に正しい翻訳文でも不当に低い値を計算することがあり，散布図に示すように多くの文が 0 に近い値をとった. BLEURT は従来の評価指標よ りも人間の評価に近いとされており，こちらではよ り強い負の相関が見られた. この結果は仮説を裏付 け, 分類器にとっての日本語の原文らしさが日英翻訳を困難にすることを示唆する。

表 2 分類器のモデルの精度. BERT は BERT 単体で訓練 した精度，BERT(+BoW) は+BoW を用いて訓練した BERT モデルを単体で評価した精度，BERT+BoW は+BoW を 用いて訓練した BERT のロジットとと BoW のロジット を+BoW と同じ手法で組み合わせて計算した精度を示す.

## 3.4 表現の検出結果の分析

3.3 節の結果から，学習済みの分類器には翻訳が 難しい表現に関する情報が含まれていることがわ かった. そこで説明手法を用いて文中のどの部分が 翻訳が難しい表現なのか検出することを試みた。

まず+BoW の有効性が示された例を表 A. 1 に示 す. BERTのみの結果では「成敗」や「禁令」のよ うな日本語の原文というドメインに特有の語彙が検出されているが，このような表現は機械翻訳で生成 されることが稀な単語であり，翻訳が難しい表現で はない. それに対して BERT+BoWではある程度そ れらの表現に注目しないようになっていることがわ かる.

次に，検出された表現で実際に機械翻訳が適切 でない翻訳を生成した例を表 A. 2 に示す.「いい年 になった」や「端から見ると」などの表現が検出さ れた.これらの表現の DeepLによる訳文を見ると， "reached a good age" $や$ "from the out side" という不自然な訳になっており，実際に翻訳が難しい表現であ ることが確認できる. ただし，検出されたフレーズ が実際に不自然な翻訳をされているかを自動的に評価する方法が確立されておらず，検出結果の定量的評価が課題として残されている.

## 4 おわりに

本研究では機械では正しく翻訳することが難しい 表現は日本語母語話者が書いた日本語テキストに特異的に出現し，機械翻訳によって生成されたテキス トには含まれていないという仮説を検証した. さら に, 分類器の説明手法によっていくつかの翻訳が難 しい表現を検出した. また， bag-of-words 分類器を 補助的に用いることで，分類器に単語レべル以上の 手がかりに着目させる手法を提案し，その有効性を 確認した. 今後の課題としては，提案手法の定量的評価方法と前編集の方法の確立が挙げられる.

## 謝辞

本研究は一部 JSPS 科研費 $21 K 12029$ の助成を受 けた.

## 参考文献

[1] Nobuyuki Honna. That restaurant is delicious. [japan]. Asian Englishes, Vol. 13, No. 2, pp. 64-65, 2010.

[2] W. James Murdoch, Peter J. Liu, and Bin Yu. Beyond word importance: Contextual decomposition to extract interactions from LSTMs. In Proceedings of 6th International Conference on Learning Representations, ICLR 2018, 2018.

[3] Sepp Hochreiter and Jürgen Schmidhuber. Long shortterm memory. Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 1997.

[4] Xisen Jin, Zhongyu Wei, Junyi Du, Xiangyang Xue, and Xiang Ren. Towards hierarchical importance attribution: Explaining compositional semantics for neural sequence models. In International Conference on Learning Representations, 2020.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[6] Makoto Morishita, Jun Suzuki, and Masaaki Nagata. JParaCrawl: A large scale web-based English-Japanese parallel corpus. In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 36033609, Marseille, France, May 2020. European Language Resources Association.

[7] Holger Schwenk, Vishrav Chaudhary, Shuo Sun, Hongyu Gong, and Francisco Guzmán. WikiMatrix: Mining $135 \mathrm{M}$ parallel sentences in 1620 language pairs from Wikipedia. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 1351-1361, Online, April 2021. Association for Computational Linguistics.

[8] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.

[9] Ondřej Bojar, Yvette Graham, and Amir Kamran. Results of the WMT17 metrics shared task. In Proceedings of the Second Conference on Machine Translation, pp. 489-513, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[10] Thibault Sellam, Dipanjan Das, and Ankur Parikh. BLEURT: Learning robust metrics for text generation. In Proceedings of the 58th Annual Meeting of the Asso- ciation for Computational Linguistics, pp. 7881-7892, Online, July 2020. Association for Computational Linguistics.

図 A. 1 翻訳精度と分類スコアの散布図

 \\

表 A. 1 +BoW の有効性を示す例. 下線部は検出された箇所を示している.

 \\

表 A. 2 翻訳が難しい表現が検出できた例。下線部は上段では検出された箇所を示しており下段では対応する訳を示して いる.


# 日本語の大規模 Twitter データからみる 新型コロナワクチン接種に関する人々の関心の推移

武富有香 ${ }^{1}$ 須田永遠 ${ }^{1}$ 中山悠理 ${ }^{2}$ 宇野毅明 ${ }^{1}$ 橋本隆子 ${ }^{3}$

豊田正史 ${ }^{4}$ 吉永直樹 ${ }^{4}$ 喜連川優 ${ }^{4,5}$ Luis E C Rocha ${ }^{6,7}$ 小林亮太 ${ }^{2,8}$

国立情報学研究所 情報学プリンシプル研究系 ${ }^{1}$ 東京大学大学院 新領域創成科学研究科 ${ }^{2}$

千葉商科大学 商経学部 ${ }^{3}$ 東京大学 生産技術研究所 ${ }^{4}$ 国立情報学研究所 ${ }^{5}$

ゲント大学 経済学部 ${ }^{6}$ ゲント大学 物理・宇宙物理学部 ${ }^{7}$ 東京大学 数理・情報教育研究センター 8

yuka_takedomi@nii.ac.jp sudatowa@nii.ac.jp3645588575@edu.k.u-tokyo.ac.jp uno@nii.jp

takako@cuc.ac.jp toyoda@tkl.iis.u-tokyo.ac.jp ynaga@iis.u-tokyo.ac.jp

kitsure@tkl.iis.u-tokyo.ac.jp luis.rocha@ugent.be r-koba@edu.k.u-tokyo.ac.jp
## 概要

日本での新型コロナワクチン接種は，安全性・有効性に対する不安や接種に関する政策への不満があ ったにもかかわらず，欧米諸国と比べて迅速に進ん だ。短期間で高い接種率に達する過程における人々 の考えや関心を知ることは，公衆衛生上の重要な問題である.

本研究では 2021 年 1 月から 10 月につぶやかれた 「ワクチン」という語を含む日本語の全ツイートを 分析した.トピックモデルを用いてツイートを 15 の トピックに分類し，意味解釈を行うことにより 4 つ の話題（個人的事柄, ニュース, 政治, 陰謀論とユ 一モア）に整理した. そしてテキスト情報を考慮に 入れた時系列分析を行った結果, 6 月の職域接種の 開始を境に，政策，有効性，関連ニュースなどのワ クチンに関する社会的トピックのツイートの割合が 減り, 接種の予定や報告, 自身の副反応などの個人的事柄に関するツイートの割合が増えたことが明ら かになった.

## 1 はじめに

日本における新型コロナワクチンの接種開始は,欧米諸国と比べると 2 ケ月以上も遅れた. しかしな がら，国民の間にワクチンに対する多くの不安や不満があったにもかかわらず，日本におけるワクチン 接種は世界の中でも速く進み, 医療従事者への接種開始からわずか 8 ケ月ほどでワクチン接種率は $72 \%$ (世界 229 力国中 14 位) に達した.この接種期間中 に，人々のワクチンについての興味・関心はどのよ うに変化したのだろうか.
ワクチンについての人々の考え方を調べることは，公衆衛生における重要な課題の 1 つであり，これま では主にアンケートによって調査されてきた。しか し，大規模なアンケートを繰り返し実施することに は非常にコストがかかる。質問項目の設定によって 結果が大きく変わりうることや，被験者が控えめに 回答する傾向が多いことなどの問題点も指摘されて いる.一方, 人々の興味や関心を推しはかるために, ソーシャルメディアのデータを分析する研究も行わ れるようになってきた. ソーシャルメディア上の活動が現実の人々の興味や関心を反映することも先行研究によって示されている[1].

本研究では, Twitterでつぶやかれた長期間にわた る日本語の大規模データを分析することで，ワクチ ン接種期間前後にわたる人々の興味や関心の変化を 調査した. Twitter や Reddit などのソーシャルメディ アを用いて新型コロナワクチン接種に関する人々の 意見を調査する先行研究は存在するが，主に接種期間の初期のみを分析対象としているため, ワクチン 接種後の人々の意見や関心の長期的な動向をみるこ とはできていない[2][3]. ひとつの国におけるワクチ ン接種期間の全ツイートデータを網羅的に分析した 研究としては，本研究が最初のものである.

なお. 本予稿で発表する内容は論文[4]に基づくも のである。解析や結果の詳細に興味を持った読者は 当論文を参照されたい.

## 2 方法

## 2. 1 データについて

本研究のデータセットは NTT データにより提供

された, 2021 年 1 月 1 日から 10 月 31 までに投稿さ れた「ワクチン」を含む全ての日本語ツイートを扱 った.この期間は日本におけるワクチン先行接種が 開始される（2021 年 2 月 17 日）前の時期から, 東京オリンピック・パラリンピックの時期（2021 年 7 月から 9 月）を経て，日本国民のワクチン接種率が 70\%に達する（2021 年 10 月 25 日）までの期間を含 んでいる. データについてはツイートのテキスト情報, 投稿時間, オリジナルのツイートかリツイート かの情報を併せて取得した。

## 2.2 データ処理

まず, ツイートからテキスト情報を抽出し, 絵文字を除去した. 次に, 形態素解析エンジン MeCabを 使用して品詞ごとに分割し，ストップワード（「こ れ」「それ」「する」など）を除去した. 最後に，

一人称代名詞（「僕」「おれ」など）などのほぼ同義の語を一つの語（「私」）に統合した.

## 2. 3 トピックモデル

次に，LDA (Latent Dirichlet Allocation) [5]モデルを 用いてツイートのトピック (話題)の推定を行った.解析にあたっては, 出現頻度が極端に低い語, 寸な わち, その語の出現するツイート数が 1000 (全ツイ 一トの $0.0004 \%$ に相当する）に満たない語, および 「ワクチン」と「接種」という出現頻度が極端に高 い語は除去した. 加えて, botツイートを人手によっ て特定し, 除去した. 手順としては, LDA によって 分類を行い, その結果に bot ツイートのクラスタが 出てこなくなるまで，それを繰り返した．トピック 数を決めるにあたっては, 人間にとっての解釈しや すさを示すとされる Coherence スコア $C_{V}$ [6] を計算し, 最も高いスコアが得られたトピック数 15 を 採用した.

## 2. 4 分割時系列解析

最後に, 主要なイベント (東京オリンピックの開幕や職域接種の開始）がツイートの話題に与える影響を評価するために，分割時系列解析（Interrupted Time Series Regression) [7]を行った. 詳細については [4]を参照のこと。

## 3 結果

2021 年 1 月から 10 月までの「ワクチン」を含む 総ツイート数は 114,357,691 であった. 本研究では引用ツイート， すなわちコメント付きリツイート

$(5,765,735 / 114,357,691$,全体の $5.0 \%$ ) と言及ツイー 卜 $(8,416,245 / 114,357,691$,全体の $7.4 \%$ ）は数が少な いため除外し, コメント無しリツイート $(75,984,321 / 114,357,691$,全体の $66.4 \%$ ) とオリジナ ルのツイート $(24,191,390 / 114,357,691$,全体の $21.2 \%)$ のうち後者に着目して分析を行った結果を示す.

## 3.1 ツイートのクラスタリングと話題

データを収集した 10 ケ月におけるツイート群の 話題推移を調べるため, トピックモデル (LDA) を 用いて, 15 個のトピックに分類を行なった. 各トピ ックからランダムに抽出したツイート群を実際に読 み精査することにより意味解釈を行い，15 のトピッ クに「接種会場からの実況」,「ワクチンの有効性」,「ワクチン政策に関する雑談」などの名前をつけた. これらを 4 つの主要なテーマ (1. 個人的事柄, 2 . 二 ユース, 3. 政治, 4. 陰謀論とユーモア）に整理した （表 1）.

表 1 ワクチン関連ツイートの 15 トピック

トピック分析を行った結果, 最もツイート数が多 かったテーマは「個人的な事柄」であり, 全体のお よそ $50 \%$ 占めた. このテーマの中には，接種に対 する個人の考え方（1.1）や，いつ接種を受けるかと いうスケジュールに関する話題 (1.2)，「いま会場 で並んでいる」「いま打った」など接種体験の実況的な報告 (1.3) , 接種の体験を日記のように記すも の (1.4)，接種の痛みや発熱などの副反応について の報告（1.5）, ワクチン接種にあたって発熱時に服用する薬や経口補水液などの備えについて記すもの （1.6）が存在した.

2 番目に多かったテーマは「ニュース」である. モデルナやファイザー, アストラゼネカなどのワク チン開発について, 臨床試験が行われたことや使用認可が下りたことについての日本国内や世界のニュ 一ス (2.1), mRNA ワクチンが新型コロナウィルス に対しても有効であることや，アストラゼネカ製ワ クチンで血栓などの重大な副作用が起きる可能性や,接種が始まった国で副作用による死者が出たことな ど，ワクチンの有効性についてのニュース（2.2）, ワクチン接種の空き状況や予約の仕方などに関する 話題 (2.3) が存在した.

3 番目に多かったテーマは「政治」である。日本 の接種開始が他国より遅れをとっていることへの不満や, 国民にワクチンが行き渡らない状態で東京オ リンピックが開催されることなど, 政治に対する意見 (3.1), マスコミが不安を煽っている・マスコミ の情報が信じられないといったマスメディアの報道 に対する意見 (3.3)，ワクチン担当大臣に就任した 河野太郎大臣に言及するなど, ワクチン政策の雑談 （3.4）がこのテーマに含まれる.

最も少なかったテーマは「陰謀論とユーモア」で ある. 「コロナワクチンの目的は世界の人口を減ら すためのものである」といったような人口抑制に関 する陰謀論 (4.1)，「コロナワクチンは人々を $5 \mathrm{G} に$接続するための策略である」など身体への影響に関寸る陰謀論（4.2）に加え，いわゆるインターネット ミーム (4.3) が存在した. ただし「ワクチンで $5 \mathrm{G} に$接続できるなんてわくわくする!」というような陰謀論を呆談として愉しんでいるツイートが 4.2 に含
まれるなど，いわゆる陰謀論とみなされるような主張を書いているツイートばかりではない. これらの ツイートを含めた「陰謀論」のツイートは 7\%にすぎ なかった. 4.3 のクラスタには, ワクチンを 2 回打っ ことを「ワクワクチンチン」と称したツイートが多数を占め, 流行語のような様相をみせた。

## 3.2 各テーマの時間変化

つぎに，各テーマのツイート割合の時間変化を調 べた(図 1). 2021 年 1 月当初は, 個人的事柄 (30\%), ニュース $(30 \%)$, 政治 $(25 \%)$, 陰謀論とユーモア (15\%) というように，4 つのテーマにツイートは分散していた. しかし, 6 月以降には接種後の体調や 副反応など個人的事柄に関するツイートが急増し, 10 月には「ワクチン」を含むツイート全体の $70 \% を$占めるに至った.この結果は, 6 月以降に Twitter ユ 一ザの興味・関心が個人的事柄に関する話題に集中 したことを示唆する.

図 1. 各テーマのツイート割合の時間変化

## 3.3 社会的イベントと関心の推移

最後に，4つの社会的イベント (A. 医療従事者の 接種開始 $: 2$ 月, B. 高齢者の接種開始 $: 4$ 月, C. 職域接種開始 : 6 月, D. 東京オリンピック：7月）が ツイートされる話題に与える影響を中断時系列分析 [5]を用いて分析した.この結果，C.職域接種，D.東京オリンピックの 2 つのイベントがツイートの話題 に影響を与えることがわかった. 特に, 職域接種が
開始された 2021 年 6 月 21 日以降に個人的事柄に関 するツイートの割合が急速に増加することが確認さ れた（図 2）。この結果は，多くの Twitter ユーザが ワクチン接種を受けることが可能となった職域接種開始以降に, Twitter ユーザの興味・関心が個人的事柄に集中したことを示唆している。

図 2. 職域接種開始前後における各テーマの ツイート割合の時間変化

## 4 結論

本研究では, 2021 年 1 月から 10 月までのワク チン接種期間中につぶやかれた「ワクチン」という 語を含む日本語の全ツイートを分析した. トピック モデルを用いてツイートを 15 のトピックに分類 し，各トピックの意味解釈を行うことにより，4つ の話題 (個人的事柄, ニュース, 政治, 陰謀論とユ 一モア）に整理した。 2021 年 1 月当初，ツイート は 4 つのテーマに分散していたが，6月以降にはユ 一ザの興味・関心が個人的事柄に関する話題に集中 した. さらに中断時系列分析を行った結果, 2021 年 6 月の職域接種を境に，ワクチン政策，ワクチン 関連ニュースなど社会的な話題に関するツイートの 割合が減り, 接種の予定や報告, 自身の副反応など 個人的事柄に関するツイートの割合が増えたことを 発見した.

## 謝辞

本研究は, 内閣府 Covid-19 AI・シミュレーション プロジェクトの一環として実施され, 科学技術振興機構 (JST) JPMJPR1925, JPMJCR1401, 科学研究費助成事業 基盤研究(A) 19H0113，21H04571，基盤研究(B) $21 \mathrm{H} 03559,22 \mathrm{H} 03695$, 基盤研究(C) $18 \mathrm{~K} 11560$, 22K12285, 二国間交流事業協同研究 JPJSBP 1202022 01, 日本医療健康開発機構 JP21wm0525004による支援を受けて行われました。

## 参考文献

[1] Kwak H. et al., (2010). "What is Twitter, a social network or a news media?", WWW '10, pp.591-600.

[2] Lyu JC, Han EL, Luli GK.,(2011). "COVID-19 vaccine-related discussion on Twitter: Topic modeling and sentiment analysis.", JMed Internet Res 23(6):e24435.

[3] Wu W, Lyu H, Luo J., (2021). "Characterizing discourse about COVID-19 vaccines: A Reddit version of the pandemic story.", Health Data Science 1-11.

[4] Kobayashi R, Takedomi Y, Nakayama Y, Suda T et. al., (2022). "Evolution of Public Opinion on COVID-19 Vaccination in Japan: Large-Scale Twitter Data Analysis.", J Med Internet Res 24: e41928.

[5] Blei DM, Ng AY, Jordan MI., (2003). "Latent dirichlet allocation.", J Mach Learn Res 3: pp. 993- 1022.

[6] Röder M, Both A, Hinneburg A., (2015). "Exploring the Space of Topic Coherence Measures.", In WSDM' 15, pp. 399-408.

[7] Bernal JL, Cummins S, Gasparrini A., (2017). "Interrupted time series regression for the evaluation of public health interventions: a tutorial.", Int J Epidemiol 46: pp. 348-355.


# ツイートテキストデータによるリツイート数予測とその要因分析

増川哲太 ${ }^{1}$ 雨宮正弥 ${ }^{1}$ 仲田明良 ${ }^{1}$ 高須遼 $^{2}$ 狩野芳伸 ${ }^{1,2}$
1 静岡大学 情報学部 ${ }^{2}$ 静岡大学 総合科学技術研究科情報学専攻
${ }_{1}^{1,2}\{$ tmasukawa, mamemiya, anakada, rtakasu, kano $\}$ kanolab. net

## 概要

SNS 投稿が社会に及ぼす影響は、人々の行動を左右するまでに大きくなった. Twitter に投稿されたツ イートの影響を測る指標の一つはリツイート数であ る. 本研究では投稿テキストのみからリツイート数 の予測を試みた。結果、リツイート数が十分に多い 場合、フォロワー数の貢献は低くテキストのみで予測可能であることを示したうえ、我々が大規模ツイ ートデータで事前学習した RoBERTa が他のモデル より良く、対数正規化したリッイート数に対し絶対平均パーセント誤差で 0.602 の予測性能であった. ツイート文中の各文節の予測への貢献度合いを分析 し、「バズる」ツイートの傾向について示唆を得た。

## 1 はじめに

現代社会において、ソーシャルネットワーキング サービス(Social Networking Service、以下 SNS)は我々 の生活に深く根付いており、経済から政治まで様々 な分野に世界的な影響を及ぼしている。行政機関か ら企業、一個人に至るまでの多様な情報の発信にお いて、SNS を使用することは今やスタンダードなも のとなっている.そのような SNS の中でも、Twitter ${ }^{\mathrm{i}}$ は活発にテキストの投稿が行われていると同時に、 データ取得 API が公開されており、膨大なデータを 収集分析することができる.

Twitter ではリツイート機能により対象のツイー ト（投稿）をフォロワー全員と共有できるため、リ ツイートは情報の拡散において重要な要素である。先行研究の多くはフォロワー数、フォロー数、いい 氶数や文長といった数値的特徴のみを用いてリツイ 一ト数の予測を行っているが、投稿内容を無視した 予測は不正確な可能性が高い. ツイート本文の言語的特徴からリツイート数を予測し、どのような文章 が拡散されやすいかの分析ができれば、予測性能向上のみならずツイートがどのような社会的影響をも ちうるかの分析が可能になる.

そこで本研究では、投稿テキストの特徴量を用い たリツイート数の予測を行った. 予測には我々が大規模ツイートデータで事前学習した JTweetRoBERTa をファインチューニングして使用 しほかの事前学習モデルと比較したところ、最も良 い性能を得た. また、フォロワー数の影響も比較し た結果、リツイート数が十分に多い場合、投稿テキ ストのみほうがよい性能を得ることができた。 さら に文節の Ablation Study により、リツイート予測値 を決定づける要因を分析した。

## 2 関連研究

Sharma ら(2022)[1]は、人間のリツイート行動パタ ーンを把握するために、文字数や単語数などツイー トの本文の数値的特徴と、フォロワー数やフォロー 数などのユーザープロフィールの数值的特徴からリ ツイート数の予測を行った. これら数値的特徴量を 組み合わせた新たな特徴量を提案して、リツイート の予測を行った。

Liu ら (2014)[2]は中国の Twitter に似た SNS である Weiboilについて、同様のユーザープロフィールや投稿に関する情報を用いてリツイート数を予測した。訓練データをリツイート数でいくつかのクラスに分割した後、テキストとユーザーに関する数値的特峌量とクラスラベルを用い、クラス分類タスクとして 学習、推測した。

こうした数値的特徴を用いてリツイート数の予測 を行う手法では、ユーザーの思考や興味を反映させ た予測できているとはいえない. Twitter ユーザーの 思考がもっとも強く映し出されているのはツイート テキストそのものであり、それを用いることでより リツイート数をより正確に予測できると期待する.

Zhang ら(2016)[3]はユーザーのツイートを類似し

ii https://m.weibo.cn/

た単語やトピックでクラスタリングし、それらの注目度と現在のツイートの類似度やツイートの文脈情報、その他特徴量を学習させ、ある特定のツイート をリツイートする可能性を予測している. Wang ら (2020)[4]は Weibo から大量のデータを収集し、ユー ザーの投稿本文、プロフィール、ユーザー間のネッ トワーク情報のベクトルをつなぎ合わせて分類する ことで、ある投稿をリツイートするかどうかの予測 を行っている.これらの先行研究では、Twitter ユー ザーの興味・関心を言語特徴やその他特徴を用いて 取り込んでいるが、ユーザー個別のリツイート行動 を予測することが目的であり、本研究の目的である リツイート数の予測とは異なる。

## 3 提案手法とデータセット

本研究では、我々が独自に 6 億件の日本語ツイー 卜で RoBERTa-base を事前学習した JTweetRoBERTa[5]の利用を提案手法として、東北大学が公開している Wikipedia で事前学習した日本語 BERT[6]の BERT-baseiii，同 BERT-large ${ }^{\mathrm{iv}}$ 、rinna 社の提供する Wikipedia および cc100 で事前学習し たRoBERTa[7]の三つを比較対象として用いた.

これら事前学習済みモデルに対して、以下で説明 する Twitter データセットによるファインチューニ ングを行った. 具体的には、BERT の最終層に回帰分析用の全結合層を追加してファインチューニング を行った. ファインチューニングの各種パラメータ 設定は、付録 $\mathrm{A} 1$ に記載する.

「インフルエンサー」であること自体がリツイー 卜数に影響を及ぼす可能性を分析するために、対象 ツイートを発信したアカウントのフォロワー数のみ での予測と、JTweetRoBERTa の最終全結合層にフ オロワー数も入力した場合の予測を行った.

さらに、ツイートのどの文節がリツイート予測に 重要かの Ablation Study による要因分析を行った.

## 3.1 ファインチューンの変数と損失関数

ファインチューニング時の正解となるリツイート 数 $\boldsymbol{r}$ に幅があり学習が難しくなってしまうため、 $\boldsymbol{x}$ $=\log _{2}(r+1)$ と正規化した值 $\boldsymbol{x}$ を用いた. 以下 $\boldsymbol{x}$ を 対数正規化リツイート数と呼ぶ.

リツイート数のスケールの幅が大きいため、誤差 を比率で表現する損失関数も検討したが、正解値と 予測値によっては簡単に小さい値になりやすくモデ ルの最適化には向かない、そのためモデル学習時の 損失関数としては平均絶対誤差を採用した。

## 3. 2 Twitter データセット

本研究で使用したデータは、Twitter API $\mathrm{v} 2 \mathrm{v}$ の Academic Research アクセスにより取得した. ツイー ト本文がリツイート数にどのくらい影響を及ぼすの かをテキストに焦点をおいて分析するため、リプラ イ、引用リツイート、画像・動画を含むツイートは 除外した．URL や絵文字は削除した。

リツイート数の少ない投稿ほど頻度が高いが、対象投稿のリツイート数が十分に多くないと統計的な 予測が難しい，特にリツイートのない投稿はその理由に特殊な要因が考えられるため、すべて除外した。

ファインチューニング用データセット 日本語 ひらがな五十音を含むツイートを、制限を設けずタ イムライン上から収集するランダムサンプリングで、投稿期間は 2022 年 1 月 1 日 2022 年 10 月 31 日であ る.しかしこの方法のみでは、リツイート数が多い ツイートを十分に取得することが困難だった。その ため、リツイート数が多かった投稿をまとめてさら にリツイートしているアカウントをいくつか収集し、 そこでリツイートされた投稿をすべて収集したもの （以下「まとめアカウントデータ」と呼ぶ）を加え、 リツイート数の多い投稿を補強したものをファイン チューニングに用いた.ただし、ひらがなないしカ タカナが一文字もないツイートは除外した。これら

図 1 ファインチューニング用データセットの リツイート数毎の頻度分布
^{v}$ https://developer.twitter.com/en/docs/twitter-api
}

フィルタ後のリツイート数の分布を図 1 に示す（リ

ツイート数 0 の投稿数も参考に残した）。

要因分析用データセット上記のまとめアカウ ントデータのみを用いた. ファインチューニング時 に用いたツイートと重複するものは除外した。

表 1 にファインチューニング用と要因分析用のデ ータセットの統計を示す.

表 1 各データセットの統計情報

## 4 実験設定と評価

評価に用いた指標は、平均二乗誤差(MSE)、二乗平均平方根誤差(RMSE)、平均絶対誤差(MAE)、平均絶対パーセント誤差(MAPE)、決定係数 $\left(\mathrm{R}^{2}\right)$ 、相関係数 (r)の 6 つである. 評価指標の詳細については付録 A2 に記載する。

## 4. 1 訓練時のデータ分割と評価結果

前章で述べたファインチューニング用データセッ 卜を訓練・検証・評価に分割した。ランダムサンプ リングしたツイートは 38:1:1、まとめアカウントデ 一タは 8:1:1 に分割した. リツイート数が多いもの が訓練・検証・テストそれぞれに適度に含まれるよ うに、それぞれ分割してから結合した。結果、ファ インチューニング用のツイート数は、訓練・検証・評価の件数がそれぞれ $113671 、 3672,3675$ となった。 ファインチューニングの結果、ほぼすべての指標 において JTweetRoBERTaが最も良いスコアを得た （表 2）. 表 2 の follower カラムはフォロワー数の みで予測した結果を、JTweetRoBERTa+follower は
JTweetRoBERTa の最終全結合層にフォロワー数も 入力した場合の予測結果であるが、フォロワー数を 加えた結果、かえって性能が低下している. 次節で その詳細を分析する。

## 4. 2 リッイート数による性能比較

リツイート数の過多によって予測性能が異なる可能性がある．その調査のため、前節のフォロワー数 を使わないモデル間比較で最も良い性能を得た、提案手法である JTweetRoBERTa と、 JTweetRoBERTa+follower , follower $の$ 三つについて テストデータをリツイート数 $1024\left(=2^{10}\right)$ 未満の計 2845 ツイート、2 $2^{10}$ 以上の計 830 ツイートの二つに 分割し、それぞれに対して評価值を算出した。表 3 に結果を示す.

表 3 リツイート分布別の予測性能比較

JTR: JTweet-RoBERTa, f: follower

 & $\mathbf{f}$ & $\mathbf{J T R}$ &  & \multicolumn{1}{|c|}{$\mathbf{f}$} \\

二つのデータセット間でリツイート数のスケール が異なるため、絶対值ではなく比率で評価する MAPE が妥当な指標である. MAPE はリツイート数 $2^{10}$ 未満では follower が、リツイート数 $2^{10}$ 以上では JTweetRoBERTa が最も良い性能であった。

## 4. 3 文節 Ablation Study による要因分析

リツイート数予測に影響の大きい単語や文節を分析するため、オリジナルの入力ツイート文からいず れかひとつの文節を除いて予測を行い比較した。ツ

表 2 対数正規化リツイート数のモデル別予測の評価値

 &  & follower \\

イート本文から削除したときに最も予測值が下がる 文節が最も影響を及ぼしていると考え、要因分析用 のデータセットすべてについてこの分析を行った.

予測にはファインチューニングした JTweetRoBERTaを使うが、ファインチューニングで 用いたものとは別に入力用ツイートデータを用意し た. 文節区切りには日本語構文・格・照応解析シス テム KNPviを用いた. ハッシュタグが KNP の入力に 含まれていると正常に動作しないため、一旦ツイー 卜本文からハッシュタグを抽出し KNP に入力した 後でツイート本文の元の場所に戻し予測を行った.

表 4 に、ツイート本文をすべて入力した際のリツ イート数予測値と、いずれかの文節を抜いた場合の らち最小の予測値とについて、予測値の差上位 10 件 をまとめた。

表 4 文節 Ablation Study の分析結果

 \\

けど。 \\

## 5 考察

表 2 に示した、ファインチューニングしたモデル のうちフォロワー数を使用しないモデル間の性能比較では、提案手法である JTweetRoBERTa が最も高 い性能であった.ツイート文には特有の語彙、文体、構造があるため大規模ツイートテキストによる事前学習が有効であったと考えられる。

表 3 の JTweetRoBERTa の結果を比較すると、リ ツイート数が多い方が性能が良く、内容以外の要因 が相対的に減るであろうこと、リツイート数の多い
ツイートには予想を決定づける要因が多く含まれた ためにより予測を安定させた可能性がある.

リツイート数 1024( $\left.=2^{10}\right)$ 以上のツイートに対する 予測で、フォロワー数が貢献しなかったことは意外 で重要な発見である. フォロワー数が少ないアカウ ントからの発信であっても、ツイート内容が「バズ る」ものであれば他のアカウントの紹介等を介して 最終的にリツイート数が増加するのではないか.

リツイート数 $1024\left(=2^{10}\right)$ 未満のツイートではフォ ロワー数のほうが予測に寄与した. フォロワー数が 多いほど、内容にかかわらずリツイートするユーザ 一群が多いのかもしれない。

表 4 の分析結果で挙がった文節を見ると、「お願 いなのですが、」「言わせて、」といった相手に働 きかけるような文節が上位にみられる。また、トピ ックをあらわす文節が「忍者だった」「飼われた」

【超重要事項】「筋肉注射の」「【拡散希望】脳梗塞って」のようにアピーリングで意外性のある内容であることも重要であるという結果になった。こ のことから提案手法では、ツイート本文中の要点に 関する文節を重要視してリツイート数予測を行って いるのではないかと考えられる。

## 6 おわりに

本研究では、ツイート本文の言語特徴からリツイ 一ト数を予測できるかを試みた.モデル比較の結果、 ツイートデータで事前学習させた提案手法の JTweetRoBERTa が、リツイート数 1024 $\left(=2^{10}\right)$ 以上 の予測において MAPE が 0.602 と最も良い性能を達成した. リツイート数が十分に多い場合フォロワー 数の貢献は低くテキストのみで予測が可能であるう え、Ablation Study の結果からは相手への働きかけ表現やツイート文のトピックを表すアピーリングな文節を重要視しているのではないかという示唆を得た。

今後はファインチューニングに用いたリツイート 数の分布がより均一になるよう収集方法を工夫して データ数を増やし、モデルのさらなる一般化を目指 したい。また、ユーザーのツイート履歴やツイート の前後関係、社会背景とツイートタイミングといっ た時系列の情報など、ツイート本文以外の特徵量も 含めたモデルを構築することで、よりユーザーの特性とツイート拡散過程を反映した予測を試みたい.

## 謝辞

本研究は JSPS 科研費 JP22H00804, JP21K18115, JP20K20509, JST AIP 加速課題 JPMJCR22U4, およ びセコム科学技術財団特定領域研究助成の支援をう けたものです.

## 参考文献

[1] Saurabh Sharma, and Vishal Gupta. Role of twitter user profile features in retweet prediction for big data streams. Multimedia Tools and Applications, Volume 81, pp. 27309-27338. 2022.

[2] Gang Liu, Chuan Shi, Qing Chen, Bin Wu, and Jiayin Qi. A Two-Phase Model for Retweet Number Prediction. Web-Age Information Management. WAIM 2014. Lecture Notes in Computer Science, vol 8485, pp 781792. 2014.

[3] Qi Zhang, Yeyun Gong, Jindou Wu, Haoran Huang and Xuanjing Huang. Retweet Prediction with Attentionbased Deep Neural Network. Proceedings of the 25th ACM International on Conference on Information and Knowledge Management, pp. 75-84. 2016.

[4] Chunjia Wang, Yongquan Fan, Yajin Du, and Zefen Sun. Predict Individual Retweet Behavior Based on Multi-feature. IOP Conference Series: Materials Science and Engineering, Volume 790, Number 1, pp. 012046. 2020.

[5] Ryo Takasu, Hironobu Nakamura, Taishiro Kishimoto, and Yoshinobu Kano. Mental Health Classification using Large Scale Tweet Dataset. Proceedings of the 36th Annual Conference of the Japanese Society for Artificial Intelligence. 2022.

[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.0485v2, 2019.

[7] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692. 2019.

## A 付録

## A1 ファインチューン時のパラメータ設定

今回学習に使用した最適化アルゴリズムは Adam である.フォロワー数のみで学習した場合は、最終回帰層のみ学習させた。

$\mathrm{Ir}=5 \mathrm{e}-5$ (各言語モデル)、1e-5(最終回帰層)

max_epochs $=100$ (early_stopping 設定により早期終了する可能性もある.)

## A2 評価指標

本研究で用いた評価指標は、平均二乗誤差(MSE: Mean Squared Error)、二乗平均平方根誤差(RMSE:

Root Mean Squared Error)、平均絶対誤差(MAE:

Mean Absolute Error)、平均絶対パーセント誤差 (MAPE: Mean Absolute Percentage Error)、決定係数

$\left(\mathrm{R}^{2}\right) 、$ ピアソンの相関係数 $(\mathrm{r})$ の 6 つである. 以下に それぞれを求める式を示す.

( $y$ : 正解值、 $\hat{y}$ : 予測値、 $\mathrm{n}:$ データ数)

$M S E=\frac{1}{n} \sum_{i=1}^{n}\left(y_{i}-\hat{y}_{i}\right)^{2}$

$R M S E=\sqrt{M S E}$

$M A E=\frac{1}{n} \sum_{i=1}^{n}\left|y_{i}-\hat{y}_{i}\right|$

MAPE $=\frac{1}{n} \sum_{i=1}^{n}\left|\frac{y_{i}-\hat{y}_{i}}{y_{i}}\right|$

$R^{2}=1-\frac{\sum_{i=1}^{n}\left(y_{i}-\hat{y}_{i}\right)^{2}}{\sum_{i=1}^{n}\left(y_{i}-\bar{y}\right)^{2}}$

$r=\frac{\frac{1}{n} \sum_{i=1}^{n}\left(y_{i}-\bar{y}\right)\left(\hat{y}_{i}-\overline{\hat{y}}\right)}{\sqrt{\frac{1}{n} \sum_{i=1}^{n}\left(y_{i}-\bar{y}\right)^{2}} \sqrt{\frac{1}{n} \sum_{i=1}^{n}\left(\hat{y}_{i}-\overline{\hat{y}}\right)^{2}}}$


# 誰に向けた発言か？：ツイートの指向性推定

清基英則 ${ }^{1}$ 劉康明 ${ }^{1}$ 矢田竣太郎 ${ }^{1}$ 若宮翔子 1 荒牧英治 ${ }^{1}$
1 奈良先端科学技術大学院大学
\{kiyomoto.hidenori.kj5, liew.kongmeng, s-yada, wakamiya, aramaki\}@is.naist.jp

## 概要

新型コロナウイルスの拡大に伴い，政府や自治体 はソーシャルメディアを用いた正確かつ迅速な情報発信が求められている. そのためには, 特定の対象 （年代や性別など）に向けて発信された情報を，そ の対象が自分に向けて発信されていると理解できる かどうか，すなわち「指向性」が重要である．情報発信者の属性を特定する研究は多いが，情報が対象 とする受信者の属性を特定する研究は見受けられな い. 本研究では, Twitter における雑誌の公式アカウ ントが発信するツイートは読者層向けに最適化され ていると仮定し, 各雑誌の対象年齢と性別をラベル 付けした指向性ツイートデータセットを用いて，ツ イートがどの年齢, どの性別に向けられているもの なのか機械学習モデルで分類した.この実験結果を 分析し，指向性の定量的測定がもたらす価值を考察 した.

## 1 はじめに

今や情報発信のインフラとしてソーシャルメディ アはなくてはならないものとなっている. 日本にお いては東日本大震災を契機として，SNS を活用した 情報発信が大きく注目され始めた. その後も，2017 年 7 月九州北部豪雨災害や 2018 年西日本豪雨災害 でも救助を要請するツイートが多数投稿され, 政府 と市民間での情報発信の有効な手段として利用さ れた [1]. このように，リアルタイム性と拡散性に 優れた SNS を用いた情報発信は重要性を増してお り, その動きは新型コロナウイルスの流行に伴い, さらに加速的に進んだ。例えば，厚生労働省により 組織されたクラスター対策班は，分かりやすい情報 を一般市民に届けるために，Twitter アカウントを開設し，情報発信を行った. さらに他の自治体も相次 いて，SNS を通じた情報配信を活発化した。従来， SNS に消極的であった公的期間でさえも，SNS を重要なインフラとして捉え始めている.

図 1 ツイートの指向性推定. 政府の発信のツイートには 多方面への無指向性が，男子学生が好む話題のツイート には 10 代男性への超指向性が推定される.

一方で，情報発信における問題点も浮き彫りに なっている. 2020 年 6 月に報告された新型コロナ ウイルス感染症に関する情報流通調査 [2] において，政府が正しい情報を届けるための工夫を適切に行っ ていないと評価した人が多かった. その後, 新型コ ロナウイルス感染症対策分科会は，情報の受信者側 が関心をもち，理解を深め，行動を変容させるよう な “対話ある情報発信” の実現に向けて，情報発信 の強化を迅速に進めるよう政府に提言した [3]. し かし, 不特定多数に向けた情報発信では，受信者側 にうまく伝わらない傾向にあり，様々な年齢・性別・状況の人への情報発信は難しい [4].

このような背景のもと, リスクコミュニケーショ ンに配慮した情報配信を実現するために，本研究で は，ツイートがどの対象（年代や性別など）に向け て発信されているか，この発信者が想定する受信者像を，本研究では「指向性」と呼び，ツイートの「指向性」に着目する。指向性とは，音響学的に，空中 に出力された音や電波の伝わる強さが，方向によっ て異なる性質を意味する [5]. マイクやスピーカー の指向性の種類には，全方向に対して発信される無指向性や特定の限られた範囲に発信される超指向性 などがある。このアナロジーを情報発信に当てはめ ると，例えば政府の発表などは広い範囲の無指向性 が，敬老会の予定などは高齢者に対する指向性が， カードゲームのイベント情報は若年層の男性に向け
表 1 雑誌の公式アカウントが発信するツイートの例対象属性 ツイート

10 代女性みんなどんな夏休みを過ごしてたのかな？

20 代女性韓国で盛んなハズせないファッション

30 代女性 季節の変わり目をおしゃれに乗り切るっっ!

40 代女性 皆さんの興味を引く記事はありますでしょうか？

50 代女性みなさん、足元にお気をつけください。

60 代女性ひざ痛は今日みたいに「急な寒さ」で悪化します

10 代男性 シンオウ地方で出会えるポケモンを大紹介！

20 代男性このチェキ、カッコいいですよね

30 代男性 「0 円マイカー」というサービスをご存知でしょう

40 代男性この柄に見覚えありますか？

50 代男性 100 年以上にわたって愛され続ける作品の魅力とは

60 代男性たかがねこ背だなんて軽視してると危険ですよ。

られた超指向性があると考えることができる.

我々は，誰に向けたツイートであるかを言語的特徵で捉え，定量的に推定できるようになることで，情報発信者はより迅速かつ効果的に必要な情報を 多くの人に届けることができると考えた. 本研究で は，対象としている層を公開している雑誌の公式ア カウントが発信するツイートは指向性を持つと仮定 し, 雑誌の対象層をラベル付けしたデータセットを 用いてツイートの指向性を推定するモデルを構築し た. ツイートには 30 代から 40 代の男性向けといっ た複数が対象層となっているものが含まれるため, マルチラベル分類タスクとして解き，指向性のある 文章の定量的解析を行なった.

## 2 関連研究

メッセージ送受信に関わる者の属性（年齢，性別，職業など）を推定する場合，これまでよく研究 されてきたのは送信者の属性である。 Burger ら [6] は，1850万人のユーザが発信した約 2 億 1300 万件 の多言語ツイートコーパスを構築し，ツイート発信者の性別を分類した. この研究で構築した Balanced Winnow2 アルゴリズムがベースの機械学習モデル は，66.5\%の精度で性別を分類することができた。 またこのモデルが髪や愛に関連する単語，感嘆符や 顔文字などの女性がよく用いる用語に強い影響を 受けたことを示した. Morgan-Lopez ら [7] は Twitter ユーザの年齢を推定する際の言語的特徴を捉える 研究を行った. ユーザを 18 から 24 歳の若年層, 13 から 17 歳の若者層, 25 歳以上の成人層と三つの年齢層に分け，最近発信した 200 件のツイートを収集 し, 学習データとして利用した. この研究で構築し たロジスティック回帰モデルは $\mathrm{F}$ 值 0.72 で分類する
ことができた．若年層は“学校”や“大学”などの用語を特徴として捉えることができたため，高い精度 での分類を行うことができたが，成人層の発信する ツイートの言語的特徴を捉えることは困難で，低い 精度での分類となったことを示した. Abdul-Mageed ら [8] は，約 160 万件のアラビア語のツイートから なるデータセットを構築し，書き手の性別（男性 または女性) と年齢グループ (25 未満, $25-34,35$ 以上）の合計 6 ラベルの分類を行った. 彼らは BERT を用いて，年齢層を $51.42 \%$ ，性別を $65.30 \%$ の精度 で分類できることを示した. さらに，"they ask me", “you dear", "good evening” などの語句を分類の根拠 としていたことから，性別間で書き方に明確な違い があることを述べた.

これらの研究に対して本研究の指向性推定は,発信者が想定する受信者像を推定する点で新規で ある。

表 2 指向性ツイートデータセットの統計量

## 3 データセット

本稿では，指向性を定量的に推定するために，指向性ツイートデータセット [9]を用いた. 指向性ツ イートデータセットは，特定の対象に向けて発信さ れた，すなわち，指向性を持つツイートを収集して 構築された. 特定の対象に向けて発信された，すな わち，指向性を持つツイートを収集し，データセッ トの構築を行った. 指向性を持つツイートとして，雑誌の公式アカウントが発信するツイートは読者層 （年齢と性別）向けに最適化されているとみなし，収集対象とした. 具体的には，対象年齢と性別ごと
表 33 つの提案モデルによる分類結果 (太字がモデル間の中での最も高い値)

に雑誌をまとめたウェブサイト 1)2)3)を参考に， 10 代から 60 代までの男女別の雑誌リストを作成し, Twitterにおける公式アカウント名を取得した.この 結果, 女性向けと男性向け雑誌のアカウント数はそ れぞれ 71 と 35 であった. なお，対象とする性別が 示されていない雑誌は, 男性と女性の両方を対象と する雑誌アカウントとして，幅広い年齢層を対象と する雑誌は, 複数の年齢層を対象とする雑誌アカウ ントとして扱った. 例えば，“@safari_online”という アカウントは 20-30 代の男性向けの雑誌の公式アカ ウントであるため, 20 代男性と 30 代男性の両方に 含まれる. ツイート取得方法やノイズ除去処理など の詳細については [9]を参照されたい。 データセッ トにおけるツイートの総数は 187199 であり，その 概要は表 2 に示す.

## 4 提案手法

本研究では，ツイートがどの年齢や性別に向け て発信されているのかを，マルチラベル分類タス クとして解く．そのために指向性ツイートデータ セットを用いて，文章分類モデルを構築する. 分類 モデルには Bidirectional Encoder Representations from Transformers (BERT) [10]を日本語コーパスで事前学習したモデル゙吕採用し，指向性ツイートデータ

セットでファインチューニングした.このモデルは 12 層のエンコーダ, 768 次元の隠れ層, 12 個のアテ ンションヘッドから構成される. 学習条件として，最適化手法は AdamW，学習率は $1.0 \times 10^{-5}$, エポッ ク数は 5 ，バッチサイズは 32 である。各ツイートに は複数のラベルが付与されうるため，マルチラベル 分類モデルを構築した． BERT の最終層の出力を全 てのトークンに渡って平均化，その値を線形変換し たものを分類スコアとし，スコアが正の値の場合に 該当ラベルとした.

さらに，ツイートの話題ではなく，語尾や文体と いった言語的特徴を考慮した分類のために，固有名詞と名詞をそれぞれ特殊トークンとして学習させた 2 のモデル（BERT MASKEd ProPer Noun と BERT MASKED NOUN）を構築した. 固有名詞と名詞の判定 には，形態素解析器 MeCab [11]を用いた. 特殊トー クンに置き換えることで，BERT の学習に影響を与 える単語を意図的に制限することができる [12].

## 5 結果

指向性ツイートデータセットを 9 （訓練）：1（評価）の割合で分割し，BERT，BERT MASKEd PROPER Noun，BERT Masked Noun の 3 つのモデルによる ツイートの分類精度を評価した。評価指標には， Macro-F1 と各ラベルの F 値を用いた。表 3 に結果を 示す.

各モデルの $\mathrm{F}$ 值の平均はそれぞれ $0.87,0.82,0.70$ と高い精度となった。2 節で述べたツイート文から

（1）[CLS]こん\#\#にち\#\#は今日から3月がスタート!!そしてニコラ発売日今\#\#月は中3で思い出づくりしたよぜ\#\#ひチェックしてみてね\#\#ー!

（2）[CLS]こん\#\#にち\#\#は今日から3月がス夕ート!!そして[Proper noun]発売日今\#\#月は[Proper noun]で[Proper noun]したよぜ\#\#ひチェックしてみてね\#\#ー

（3）[CLS]こん\#\#にち\#\#は[Noun]から[Noun]が[Noun]!!そして[Noun][Noun][Noun]は[Noun]で[Noun]したよぜ\#\#ひ[Noun]してみてね\#\#ー!

（4）[CLS]まもなくあの3.11から10年です。月刊4月号に寄稿しました。よろ\#\#し\#\#ければお手に取ってみて下さい。

（5）[CLS]まもなくあの[Proper noun]から10年です。月刊4月号を寄稿しました。よろ\#\#し\#ければお手に取ってみて下さい。

（6）[CLS]まもなくあの[Noun]から[Noun]です。[Noun][Noun][Noun]を[Noun]しました。よろ\#\#し\#\#けね゙[Noun][Noun]に取ってみて下さい。

図 2 Attention weight の可視化結果.(1)(2)(3) はF10に，(4)(5)(6) は F60と M60 に BERT, BERT Masked Proper Noun, BERT MASKED NOUN でそれぞれ正しく分類された例，マスキングにより，文末や文体の表現に重み付けされている.

書き手の年齢層を推定するモデル [7] の $\mathrm{F}$ 値が 0.72 で，一定の有用性を評価しているため，今回の我々 の結果もある一定の精度を示したと判断した.

モデルごとに確認すると，BERT の $\mathrm{F}$ 值の平均が 0.87 であり，F40から F60，M30から M60の F 値が 突出して高い結果となった. ほぼ全てのラベルが $\mathrm{F}$値が 0.8 を超えていることから，高精度での分類結果となった. BERT MASKEd PROPER NOUN について は, $\mathrm{F}$ 値の平均值は 0.82 であり, BERT に比べてや や低い精度となった，F40から F60，M30 から M60 の F 值が依然として高いままであったが，他のラべ ルは下がる結果となった. BERT MASKING Noun の F 値の平均値は 0.70 となり, 他の 2 つのモデルと比べ $\tau$, 適合率, 再現率, $\mathrm{F}$ 値の全てが下がった. M40 の $\mathrm{F}$ 值のみ 0.85 と高いままであるが，他のラベルは BERT に比べて大きく精度が下がった.

## 6 考察

本節では，分類結果と各モデルの Attention weight の可視化結果をもとに，各モデルの結果と 分類の判断根拠について考察する. まず F30 から F60，M30 から M60 のラベルの精度がモデルを問 わずに高かった. これは先行研究 [9] では, 低い精度であったラベルであり，マルチクラスからマル チラベルにタスクを変更したことで，複数のラベ ルが付いたツイートの分類精度が大幅に向上した ことがわかる. モデルごとに確認すると，通常の BERT の精度が最も高いことから, 固有名詞と名詞 を含んだ方が分類精度が高くなることがわかった.図 2 は BERT の Attention weight の可視化結果であ る. 図 2 の(1)と (4)より, BERT は, “ニコラ”, “中 3 ”, “思い出づくり”, “3.11” などの特徴的な言葉を根拠に分類を行っていることがわかる．BERT MASKED PROPER NOUN は，どのラベルも高い精度で 推定することができており, 固有名詞をマスキング しても，高い精度で分類されていることがわかる.図 2 の (2) と (5) より，“スタート”，“チェック”，“寄稿” という特徴的な単語を根拠に分類している一方，“みてね一！”，“みて下さい”といった文末の表現により重み付けされていることから，対象となる 属性に向けた文体が学習されていることがわかる. BERT MASKED NOUN の精度は他のモデルと比べると 下がるが，依然として高い精度で分類ができてお り, 図2の (3)と (6)を見ると, “こんにちは”, “し たよ”，“ければ”，“みて下さい。”といった文体の 表現を根拠としており，より文体的特徴を学習して いることが推測される.

## 7 おわりに

本研究では，特定の年代性別のユーザに向けて発信されたツイートは指向性を持つと仮定し，それを 定量的に推定するために，雑誌の公式アカウントに よるツイートを収集し，BERT による分類モデルを 構築した. 実験では，通常の BERT モデルにより一定の精度で推定できることを示し, さらに固有名詞 と名詞を特殊トークン化したモデルとの比較によ り，指向性を持つツイートの言語的特徴を考察し た. マルチラベル分類タスクとして解くことで，ど のラベルも高い精度で分類することができた.

今後の課題としては，雑誌の公式アカウント以外 の指向性ツイートの取得と実用的なツールの開発で ある. 現在，インフルエンサーが発信するツイート を対象として検討している。これにより指向性を雑誌の公式アカウント以外の発信するツイートで確認することができる。また現在，試験的に開発した システム VOICE2PeOple（付録の図 3) $)^{5}$ を公開してい る. VoICE2PEOPLe は今回の実験で用いたモデルを組 み込んだ Web アプリケーションで，入力したテキス 卜の指向性を推定することができる．今後，ユーザ による評価実験を行い，指向性の定量的評価の有用性や拡張性について検証する予定である。

## 謝辞

本研究は AMED の課題番号 JP22mk0101229，JSPS

科研費 JP20K19932, JP19H01118, JP22K12041，Yahoo 株式会社共同研究費の支援を受けたものです.

## 参考文献

[1] 佐藤翔輔, 今村文彦. 2018 年西日本豪雨災害におけ る「井救助」ツイートの実態:2017 年 7 月九州北部豪雨災害との比較分析. 自然災害科学, Vol. 37, No. 4, pp. 383-396, 2019.

[2] 総務省. 新型コロナウイルス感染症に関する情報流通調査報告書, 2020. https://www.soumu.go.jp/ menu_news/s-news/01kiban18_01000082.html.

[3] 新型コロナウイルス感染症対策分科会. “対話ある 情報発信” の実現に向けた分科会から政府への提言令和 2 年 11 月 12 日 (木), 2020. https://www.cas.go. jp/jp/seisaku/ful/bunkakai/seifu_teigen_15.pdf.

[4] 公益財団法人東京市町村自治調査会. 誰にも伝わる 情報発信に関する調査研究 報告書. 2017. https:// www. tama-100.or.jp/cmsfiles/contents/0000000/ 672/0. darenimotutawarujouhouhassin.pdf.

[5] コトバンク. 第 2 版, 世界大百科事典内言及日本大百科全書 (ニッポニカ), “指向性とは”, 2022. https://kotobank.jp/word/\%E6\%8C\%87\%E5\%90\% $91 \%$ E6\%80\%A7-73018.

[6] John D. Burger, John Henderson, George Kim, and Guido Zarrella. Discriminating gender on Twitter. In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 1301-1309, Edinburgh, Scotland, UK., July 2011. Association for Computational Linguistics.

[7] Antonio A Morgan-Lopez, Annice E Kim, Robert F Chew, and Paul Ruddle. Predicting age groups of twitter users based on language and metadata features. PloS one, Vol. 12, No. 8, p. e0183537, 2017.

[8] Muhammad Abdul-Mageed, Chiyu Zhang, Arun Rajendran, AbdelRahim Elmadany, Michael Przystupa, and Lyle Ungar. Sentence-level bert and multi-task learning of age and gender in social media. arXiv preprint arXiv:1911.00637, 2019.

[9] 清基英則, 劉康明, 矢田竣太郎, 若宮翔子, 荒牧英治.言語的特徵を用いたツイートの指向性推定. 信学技報, Vol. 122, No. 88, pp. 19-24, 2022.

[10] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[11] Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge. jp, 2006.

[12] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac,
Tim Rault, Rémi Louf, Morgan Funtowicz, et al. Huggingface's transformers: State-of-the-art natural language processing. arXiv preprint arXiv:1910.03771, 2019.

## A 参考情報

表 4 各ラベルの重要語 (TF-IDF 値)

新宿に...フォートナイト!?

これはチャプター3のヒントなのか???

みんな解読してくれ!

## 分析結果

図 3 Voice2People の画面


# コロナ禍前後における Twitter ユーザの性格別感情変化の分析

松本 和 ${ }^{1}{ }^{1}$ 喜島 $\quad$ 涼太 ${ }^{2}$ 吉田 稔 $^{1}$ 北 研二 $^{1}$
1 徳島大学大学院社会産業理工学研究部 ${ }^{2}$ 徳島大学大学院創成科学研究科
\{matumoto, mino, kita\}@is. tokushima-u. ac.jp, c612135039@tokushima-u. ac. jp

## 概要

2019 年末から始まったコロナ禍も 3 年が経過し，徐々に行動制限が緩和され, 日々, 状況は変化しつ つある. 現在も，生活様式の劇的な変化に伴い心身 へのストレスなど人々に大きな影響を与え続けてい る. 本研究は, コロナ禍前後での Twitter 上での発言内容から感情分析を行い，特徵的な表現を抽出し て比較分析することにより, 人々の発言, 思考, 行動に起きた変化を分析する。また，ユーザの性格夕 イプ別での感情の変動について考察する.

## 1 はじめに

新型コロナウイルス感染症の拡大に伴い, 2020 年 からの長期間の行動制限は, 精神的ストレスの増加,離職，収入の激減といった悪循環を引き起こしてい る. 現在, 行動制限が緩和され, コロナ禍前の日常 が戻りつつあるとはいえ，まだ感染が収束したわけ ではない. 現在でも，自肃の継続を選択せざるを得 ない人々や，後遺症などから感染拡大前の生活に戻 れない人々も少なくない。うつ病などのメンタルへ ルスの問題に至らないよう，周囲とのコミュニケー ションを密にし, 孤立化を防止することが極めて重要である。そのためにも，人々が何に影響を受け， どのような感情を抱いているかを大まかに把握し，要因別のサポート体制を整える必要がある.

本研究では，感情推定技術を活用して，ソーシャ ルメディア上の発言を感情分析し, 人々の発言の内容から感情変化の要因となるものを特定する技術の 開発を行っている. 人々の感情変化がどのような行動を引き起こしているのか, 思考や行動に関連した キーワードを抽出して分析を行い，ユーザを性格別 にグループ分けし, どのような性格のユーザにどの ような変化が起こっているかを考察する。

## 2 関連研究

コロナ禍における人々の考えや行動をソーシャル ネットワーキングサービス(SNS)の投稿から把握し ようとする研究は多い. 自肃生活で対面交流が制限 され, オンライン交流および Web 上での活動が増加 したことで，コロナ禍前よりも多くのユーザが SNS を利用するようになった. Twitter は即時性が高く,短文で個人の考えをリアルタイムに反映した投稿が されやすい点で，感情分析の対象に適している。ま た，新しい生活様式においては特に世の中のニュー スのチェックに利用する傾向が顕著である[1].

鳥海ら[2]は，新型コロナウイルスに関する投稿を 収集し，情報を発信するユーザの感情に着目した分析を行った. この研究では，新型コロナウイルスに 関連した大きなイベントの発生とその際のユーザの 投稿に表孔ている感情との関連を明らかにしている。

福田ら[3]は, 新型コロナウイルスワクチンに対す る人々の感情に着目し, 感情が表れる要因を分析し ている。日本，米国など 6 力国 (日本語および英語) の Twitter の投稿を対象としており，ワクチンに関す る同一の出来事でも，個人の状況に応じて観察され る感情が異なることを明らかにした。彼らの研究で は，感情分析に BERT を利用し，海外ツイートに刘 しては SemEval2018 Task 1: Affect in Tweets[4]で配布された Emotion Classification (E-c) task の英語感情分析データセットを用い，日本語ツイートに対して は，Kajiwara ら[5]の日本語感情分析データセット (WRIME corpus)を用いている.

これらの研究では，ユーザ個々の性質には着目し ていない. 鳥海らの研究では, 感情の時間変化やユ 一ザのコミュニティの偏りを考慮しているが，個々 のユーザの思考・行動の違いは考慮していない。こ れは，ユーザの思考・行動を識別することが難しい ことと, プロフィール情報の信頼性がユーザによっ て差があること，また，複数アカウントを利用する ユーザの影響を排除しきれないことなどが要因であ

ると考える。また, 感情分析に辞書ベースの ML-Ask[6]を利用しており精度の面で問題がある.

本研究では, ユーザの感情や行動に影響を与える と考えられる性格（パーソナリティ）に着目し，性格タイプ別に感情の変化を分析することで，思考・行動の変化を検討する点で異なる.

伊藤ら[7]は, IBM のサービス Personality Insights を用いて, Twitter ユーザの性格を時系列で分析して いる.しかし, 個人の性格はコロナ禍前後の短期間 で変化が観察できるほど変動の激しいものではない. このため, 本研究では, Twitter ユーザ本人が受けた 性格診断テスト (MBTI: Myers-Briggs Type Indicator[8]）の結果をもとに性格を固定し分析する.

## 3 提案手法

## 3.1 感情推定手法

本研究では, 感情推定に機械学習アルゴリズムを 用いる. 具体的には, 感情ラベル付きテキストコー パスを, BERT などの事前学習済みの汎用言語モデ ルを用いて学習させたマルチラベル分類モデルであ る. 学習対象のコーパスは, 先行研究と同様に, Kajiwara ら[5]の日本語感情分析データセットと,我々が独自に収集・ラベル付けした感情コーパス[9]， また, 絵文字と感情表現辞書をもとにラベルを自動付与したツイートコーパスを用いた. 下記の事前学習済みモデルをもとに感情推定モデルのファインチ ューニングを行う.いずれも Hagging Face[10]で提供 されているものである.

1. xlm-roberta-base

2. nlp-waseda/roberta-base-japanese

3. rinna/japanese-roberta-base

4. hajime9652/xlnet-japanese

5. Twitter/twhin-bert-base

ファインチューニングには, Transformer ベースの モデルを簡易な実装で扱えるライブラリ Simple Transformers[11]の MultiLabelClassificationModel を用 いた. 対象とする感情の種類は, Plutchik の基本 8 感情 [12][13] （喜び:Joy, 悲しみ:Sadness, 期待:Anticipation, 驚き:Surprise, 怒り:Anger, 恐れ:Fear,嫌悪:Disgust, 信頼:Trust）である. 各ツイートに対し て推定モデルが出力した確率値が 0.5 以上となった感情ラベルを付与する。

## 3.2 感情推定モデルの選定

複数の事前学習済みモデルを用いるにあたり，精度評価を行うことで最も感情分析に適しているモデ ルを選定する。精度評価には，前節で述べた複数の 感情ラベル付きテキストデータから，学習データ 96,696件, テストデータ 32,233 件を用いた. 図 1 に, 5 種類の事前学習済みモデルを用いてファインチュ ーニングした感情推定モデルの感情別の F 值 （F1-Score）を示す. この図より, XLM RoBERTa が全体的に精度が高いことが分かるため, 本研究で はこのモデルを用いて感情分析を行う.

図 1 各モデルの感情ラベルごとの F 值

## 3.3 性格別感情分析

## 3.3.1 ユーザアカウントの選定

本研究では, 性格診断サイト (16Personalities[14]) を利用して MBTI 診断結果の性格タイプをコロナ禍前後の 2019 年〜2022 年の間にツイートしたユーザ を選定した. MBTI は, 外向型・内向型, 感覚型 $\cdot$直感型, 思考型・感情型, 判断型・認知型の 4 つの 二分法を掛け合わせた 16 の性格に分類する自己申告型診断テストの一つであり，大まかな性格タイプ を知るために利用される. ユーザが複数回, 診断結果をツイートしている場合は, 最新の結果をそのユ ーザの性格とする。性格タイプを，表 1 に示す.

 &  &  &  \\

## 3.3.2 ツイートの収集

3.3.1 節で述べた方法で選定した計 2720 名のユー ザごとに, 2019 年〜2022 年までの期間のツイートを Twitter API を使用して収集した. 本研究では，コロ ナ禍前後を明確に区別することが難しいと考え， 2019 年 11 月 30 日以前 (新型コロナウイルスが知ら れる前）をコロナ禍前, 約 1 年後の 2020 年 11 月 30 日以降をコロナ禍後と定義する。過去のツイートの 収集に, Academic Research 用の API[15]を利用した。性格タイプ別のユーザ数を表 2 に, 收集したコロナ 禍前後の対象ユーザのツイートおよびリプライ数を 表 3 に示す. リツイートは収集対象から除外した.表 2 の both は, コロナ禍前後両方でツイートを収集 できたユーザ, before はコロナ禍前のみ, after はコ ロナ禍後のみツイートを収集できたユーザ数を示す.

表 2 MBTI タイプごとのユーザ数内訳

表 3 ツイート数およびリプライ数

## 3.3.3 コロナ禍前後での性格別感情分析

ユーザ集合を性格タイプ別に分割し，ツイート集合を作成する. コロナ禍前後両方でツイートを収集 できたユーザのみを対象とする。性格タイプによる ユーザ数の偏りを考慮し, 最もユーザ数の少ない性格タイプISTJ に合わせて各タイプごとに 88 ユーザ をランダムに選択する. 対象ユーザのツイート集合 をコロナ禍前後で分けて, 3.2 で学習した感情推定モ デルによりマルチラベル感情推定を行う，推定され た感情ラベルの頻度を正規化し, コロナ禍前後での 性格タイプごとの感情分布の変化を比較分析する.

## 3.4 特徴語分析

ツイートに含まれる単語を, TF-IDF に基づく特徴語抽出を用いて分析する. 分析結果から, コロナ禍前後で，どのような変化が起こっているかを考察す
る. 特徴語抽出に際して, 前処理としてツイートの 正規化を neologdn[16]で行い, MeCab で形態素解析 し，原形に変換する．ストップワードリストにより ノイズとなる語を除去後, 名詞・形容詞・動詞・形容動詞語幹などの自立語および固有名詞に限定して TF-IDF 値を計算し，上位 100 語の特徴語を抽出した。

## 3.5 感情変動パターンの分析

ユーザの感情変動パターンの傾向をコロナ禍前後 で分析する．ユーザごとに，ツイートの感情推定結果をツイートのタイムスタンプの順で並べ（日時の 間隔は考慮しない), 感情の種類別に, 出現の有無 を0/1 で表し，順番に並べたものを感情変動パター ンとする. 得られたすべての感情変動パターンを対象に時系列パターンクラスタリング手法 k-Shape[17]を用いて K 個のクラスターに分割する. k-Shape の学習には, Python 用パッケージ tslearn[18] を用いる. 各感情ごとの所属クラスタの頻度ベクト ルをそれぞれ頻度の総和で正規化して水平連結し，性格タイプごとにまとめる。これを感情変動パター ンのクラスタ分布ベクトル $(\mathrm{K} \times 8$ 次元 $)$ とし，コロ ナ禍前後でユークリッド距離を求め, 大きな変化が みられる性格の傾向を考察する。

## 4 分析結果と考察

## 4. 1 感情分布の結果

コロナ禍前後での感情推定結果の分布の差分を図 2 に示す. 各セルにおける正/負の値は, それぞれコ ロナ禍後に各感情に推定されるツイートの割合が増加/減少したことを示している。

図 2 コロナ禍前後での感情分布の差分

これより, 全体的に Anticipation が減少しているこ とが分かる. 特に, ENTJ（指揮官）については， Anticipation の減少, Joy の増加が目立つ. また, 感情分布ベクトルの Kullback-Leibler divergence が最も 大きくなったのは, ENTJ（指揮官）, 次いで ENTP (討論者), 最も小さくなったのが ENFJ（主人公） であった.

## 4.2 特徴語分析の結果

感情分布の変化が大きいENTJ と ENTP に関して， コロナ禍前後で共通している語, コロナ禍前のみに 出現した特徴語, コロナ禍後のみに出現した特徴語 の例を表 4 に示す. ENTJ では，コロナ禍後に「お めでとう」「楽しみだ」などのポジティブ表現，ま た,「測定」「体重」など健康を気遣うような表現 がある。一方，ENTPでは，コロナ禍後に「最高だ」「面白い」などポジティブ表現が増加している.

表 4 コロナ禍前後での ENTJ と ENTP の特徵語分布

 &  &  \\

## 4.3 感情変動パターン分析の結果

クラスタ数 $\mathrm{K}$ を 4 に設定し, 時系列クラスタリン グを行う. 各クラスタへの所属回数をカウントして 正規化したベクトル間のユークリッド距離を，コロ ナ禍前とコロナ禍後で比較したものが, 図 3 である. “euclid_before/after”がコロナ禍前後での同一性格夕 イプ間の距離, “euclid_same_avg”がコロナ禍前後そ れぞれの同一期間における他の性格タイプとの平均距離, “euclid_before_avg”がコロナ禍前の他の性格夕 イプとの平均距離, “euclid_after_avg”がコロナ禍後 の他の性格タイプとの平均距離を示している。この 図より, ISFP (冒険家), ESTJ（幹部）, ESFP（広報運動家）の3つのタイプは, 平均距離よりも距離が 大きく, 感情変動パターンの変化が比較的大きい.一方, コロナ禍前後の距離が最も小さかったのは INFJ（提唱者）であった。

図 3 コロナ禍前後の感情変動パターンの距離比較

## 4.4 考察

コロナ禍前後での特徵語の変化を分析した結果か ら，特定の性格タイプにおいては，発言に特徴的な 変化がみられた。その結果，発言から推定できる感情にも変化が起きたと考えられる。また，コロナ禍前後での感情変動に変化が見られたのは，型破りな タイプである ISFP (冒険家) や，リーダーシップを とるタイプである ESTJ（幹部）などであった. 感情変動に変化があるということは，思考や行動にも変化が起きている可能性があるため，特徵語やトピッ クの分析をすることで確認する必要がある.

## 5 おわりに

本研究では, コロナ禍前後のツイートの感情推定 を行い，性格タイプ別の分析を行った. 感情分布や 感情変動には，ある一定の変化がみられたが，それ らの要因まではとらえきれていない．感情分布の変化が大きい性格タイプのユーザの特徵語を分析した ところ，コロナ禍後に変化が起こっていることは確認ができたが，現時点では性格との関連性について は明らかにできていない，また，感情によって変動 パターンのバリエーションが豊富な場合も考えられ るため, クラスタ数を感情ごとに最適化する必要が ある。今後は，コロナ禍後のデータをより長期的に 収集し, 感情分析とトピック分析を併用し, 特徴的 なイベント（緊急事態宣言など）の発生と感情およ び性格タイプとの関係を明らかにしたい.

## 謝辞

本研究は JSPS 科研費 JP20K12027, JP 21K12141, SCAT 研究助成の助成を受けたもので寸.

## 参考文献

[1] 新型コロナがもたらした【新しい生活様式】に おける消費者のSNS 利用実態調查. 日本語組版 の要件（日本語版）. echoes: https://service.aainc.co.jp/product/echoes/voices/00 33, 2023-1 閲覧

[2] 鳥海 不二夫, 榊剛史, 吉田光男、ソーシャルメ ディアを用いた新型コロナ禍における感情変化の分析, 人工知能学会論文誌, Vol.35, No. 4, pp. F-K45_1-7, 2020.

[3] 福田 悟志, 難波英嗣, 庄司裕子. コロナ禍に おけるワクチンに対する人々の感情変化とそ の要因の分析, 知能と情報, Vol.34, No.3, pp. 592-600, 2022.

[4] S. Mohammad, et al. SemEval-2018 Task 1: Affect in Tweets. Proceedings of the 12th International Workshop on Semantic Evaluation, pp.1-17, 2018.

[5] T. Kajiwara et al. WRIME: A New Dataset for Emotional Intensity Estimation with Subjective and Objective Annotations. Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp.2095-2104, 2021.

[6] M. Ptaszynski, et al. ML-Ask: Open Source Affect Analysis Software for Textual Input in Japanese, Journal of Open Research Software, Vol.5, No.1, 16, 2017.
[7] 伊藤 桃, 榎 美紀, 小口正人. ソーシャルメデ イアを利用した新型コロナ禍におけるスポッ 卜別性格値推移に関する調査. DEIM Forum 2021 I25-2.

[8] I. B. Myers and P. B. Myers. Gifts Differing: Understanding Personality Types, Davies-Black Publishing, Mountain View, CA, 1995.

[9]日本語感情コーパス Tokushima Univ. A-2 Lab.: https://github.com/Kmatsu-tokudai/emotionCorpusJ apaneseTokushimaA2Lab 2023-1 閲覧.

[10] Hagging Face: https://huggingface.co/ 2023-1 閲覧.

[11] Simple Transformers: https://simpletransformers.ai/ 2023-1 閲覧.

[12] R. Plutchik. The Multifactor-Analytic Theory of Emotion. Psychology Vol. 50, pp. 153-171, 1960.

[13] R. Plutchik. The nature of emotions. American Scientist, Vol. 89, Iss. 4; pp. 344-350, 2001.

[14] 16Personalities: https://www.16personalities.com/ 2023-1 閲覧.

[15] Twitter API Academic Research アクセス: https://developer.twitter.com/ja/products/twitter-api /academic-research 2023-1 閲覧.

[16] neologdn: https://github.com/ikegami-yukino/neologdn 2023-1 閲覧.

[17] Zachary G. Ives. Technical Perspective: k-Shape: Efficient and Accurate Clustering of Time Series. SIGMOD Record, March 2016, Vol.45, No.1.

[18] tslearn: https://tslearn.readthedocs.io/ 2023-1 閲覧.


# 多様な特徵量を考慮した Twitter ユーザの性別推定

廣田遼 白井清昭
北陸先端科学技術大学院大学 先端科学技術専攻科
s2110142@jaist.ac.jp

## 概要

Twitter ユーザの性別を推定する手法を提案する。従来研究の多くはユーザが投稿するツイートを元 に性別を分類していたのに対し，本研究は，投稿ツ イート，自己紹介文，ユーザ名，プロフィール画像， フォロワーなど，様々な特徴量を考慮する点に特長 がある。また，投稿ツイートのテキストと画像を同時に考慮した複数のモデルを提案する．評価実験の 結果，提案手法の有効性を確認した。

## 1 はじめに

本論文は Twitter ユーザの性別を推定する新しい 手法を提案する. 従来研究の多くがツイートを対象に性別を推定している一方, Twitterでは, 投稿画像, 自己紹介文, プロフィール画像, フォロワーな ど様々な情報が取得できる。本研究では Twitter か ら得られる多角的な情報を元にユーザの性別をより 正確に予測する。また，性別のラベルが付与された Twitter ユーザのデータは作成コストが高いため，ラ ベル付きデータを自動拡張することで性別推定の正解率を向上させることを狙う。

## 2 関連研究

Twitter ユーザのプロフィール推定については多く の先行研究がある. Sakaki らは，ユーザが投稿する ツイートのテキストと画像のそれぞれについて，そ れを素性とする分類器を学習し, 最終的に両者のア ンサンブルモデルによって性別を予測する手法を 提案した [1]. Wang らは, ツイートテキスト，プロ フィール画像, 名前, 紹介文を素性とし, ユーザの 性別, 年齢, 所属, 組織を予測するモデルを提案し た [2]. Liu らは，投稿テキスト，自己紹介文，統計量を素性とし, 機械学習の古典的モデルならびに深層学習モデルによるプロフィール推定の性能を比較 した [3]. Morgan-Lopez らは, 誕生日ツイートなど の Twitter 特有の特徴量を利用することで，ユーザの年齢推定の精度を向上させた [4].

本研究でもツイートのテキストと画像の両方を利用するが，Sakaki らの手法がテキストと画像の分類器を別々に学習しているのに対し, 本研究では両者 の素性を同時に入力とする分類器を学習する点に違 いがある。また，ツイート以外の情報を利用してプ ロフィールを推定する先行研究があるが，本研究で は Twitterから得られるより多くの情報を同時に考慮するモデルを提案する。

## 3 提案手法

Twitter ユーザの性別を「男性」「女性」のいずれ かに分類する。このため, 使用する素性 (特徵量) が 異なる複数の分類器を学習する。 そのうちの 1 つは ユーザのツイートを素性とした分類器である (3.1 項). それ以外に Twitter から得られる様々な情報を 素性とした分類器を学習する (3.2 項). 最後にこれ らの分類器を統合したモデルを学習する (3.3 項).

## 3.1 ツイートによる分類器

ここではユーザによって投稿された複数のツイー トからそのユーザの性別を予測する。特に，ツイー トのテキストと画像の両方を考慮し, これらの組み 合せ方によって複数のモデルを提案する.

性別推定は 2 段階で行う。(1) 個々のツイートに 対し性別スコアを予測する。性別スコアは，1のと きは男性，0のときは女性を表すものとする。(2) ユーザが投稿した複数のツイートの性別スコアから ユーザの性別を決定する。以下の 3 通りの方法を採用する。

1. 性別スコアの平均を求め, 0.5 以上のとき男性, それ未満のとき女性と判定する。以下，この方法を Tw-ave と記す.

2. 性別スコアを Softmax 関数を用いて正規化した 後, 1.の処理を行う. 以下, Tw-soft と記す.

3. Softmax 関数による正規化の後, 性別クラス毎

に性別スコアが 1 または 0 に近い上位 $10 \%$ のツ イート (合計 $20 \%$ ) を選別した後, 1.の処理を行 う. 以下, Tw-sel と記す。

以下, ツイートを対象にした個々の分類器の詳細 について述べる。

Text only model ツイートのテキストのみを用いて 性別を推定する分類器である。具体的には, 訓練 データによって fine-tuning した BERT[5]を用いて性別スコアを得る.

Image only model ツイートに投稿された画像の みを用いて性別を推定する分類器. 具体的には, Vision Transformer [6] を訓練データによって finetuning し，そのモデルを用いて性別スコアを得る. ただし, 画像が含まれていないツイートは, 学習時 には使用せず，テスト時には性別を判定しない。

Early fusion model ツイートのテキストと画像を同時に考慮して性別を判定する．そのアーキテクチャ を図 1(a)に示す。テキストはBERT, 画像はVision Transformerによってそれぞれ埋め込みベクトルに 変換する。ただし，画像がないツイートに対する 画像埋め込みはゼロベクトルとする。次に，これ らを連結したべクトルを全結合層 (Full Connected Layer;FCL) に渡して性別スコアを出力する. 学習時 の損失関数は Log Loss 関数とする。

Late fusion model Early fusion model と同じくツイー トのテキストと画像を同時に考慮するが，両者の埋 め込みを次元圧縮した後で組み合わせる. アーキテ クチャを図 1(b) に示す。テキストと画像を埋め込み を BERT と Vision Transformer で得た後，それぞれを 別々に全結合層に渡して4 次元のべクトルに圧縮す る. 最後にこれらを連結したべクトルを全結合層に 渡して性別スコアを出力する。

Dense fusion model Early fusion model $\varepsilon$ Late fusion

(a) Early fusion

(b) Late fusion

(c) Dense fusion図 1 ツイートに対する性別判定モデル model を組み合わせたモデル，そのアーキテクチヤ を図1(c) に示す. BERTによって得られるテキスト の埋め込みベクトル, Vision Transformerによって得 られる画像の埋め込みベクトル, Late fusion model と同様にこれらを次元圧縮した埋め込みベクトルを 連結して全結合層に渡し，性別スコアを得る。

Caption model ツイートのテキストと画像を同時 に考慮するが，画像からキャプションを生成して から両者を組み合わせる．まず，Clip model [7] を用 いて画像の英語のキャプションを生成する. 次に, Google の翻訳 API [8] によって英語のキャプション を日本語に翻訳する。 そして, ツイートのテキスト と日本語のキャプションを特殊トークン $\langle$ sep $\rangle$ を挟 んで連結し，これを入力テキストとして，BERTを 用いて性別スコアを得る.

Ensemble model Text only model $と$ Early fusion model を組み合わせたモデル．画像のないツイートは Text only model で, 画像付きのツイートは Early fusion model で性別スコアを得る.

## 3.2 Twitter の情報による分類器

Twitter 統計量による分類器 Liu らの研究 [3] を参考に, 表 1 に示す Twitter から得られる統計情報を 素性として分類器を学習する. 学習アルゴリズム として Light Gradient Boosting Machine(Light GBM)[9] を用いる。

表 1 性別推定に使用する Twitter 統計量

ユーザ名による分類器 Twitter ユーザの名前から 性別を予測する，具体的には，ユーザ名の文字の uni-gram, ひらがな表記のユーザ名の文字 bi-gram を 素性として性別推定の分類器を学習する. また, 末尾の文字 uni-gram，ひらがな bi-gram に “end_”とい う特殊記号をつけたものも素性とする。学習アルゴ リズムとして Light GBMを用いる.

## プロフィール画像, ヘッダ画像による分類器 Twitter 上のユーザのプロフィールページに表示され るプロフィール画像 (ユーザの顔写真が多い) とへッ 夕゙画像から性別を判定する。プロフィール画像の み, ヘッダ画像のみ，両方を素性とする 3 つの分類
器を学習する. 分類モデルとして Vision Transformer を用いる。

自己紹介文による分類器 Twitter 上のプロフィール ページに表示される自己紹介文から性別を予測す る。一般に自己紹介は複数の文で書かれるが，本研究では 1 つの文として扱う. 分類モデルとして BERTを用いる。

フォロワーの自己紹介文による分類器 あるユーザ をフォローしている別のユーザをランダムに 100 名選択し，そのユーザの自己紹介文を元に性別を推定 する．自己紹介文を MeCabを用いて形態素解析し，単語を素性, その TF-IDFを値とする素性べクトル を作成する。 さらに, Latest Semantic Indexing (LSI) によってユーザのベクトルを 1000 次元に圧縮する。 これを素性として Light GBMを学習する。

## 3.3 統合モデル

これまで述べてきた分類器を統合した性別判定モ デルを学習する． 3.1 項で述べたツイートを用いる 分類器と, 3.2 項で述べた全ての分類器を組み合わ せる．各分類器が出力する性別スコアを素性とし, Light GBM を用いて最終的な分類器を得る.

## 3.4 訓練データの自動拡張

まず，初期の訓練データから性別の分類器を学習 する．次に，ラベルのない大量の Twitter ユーザの データを用意し，学習した分類器を用いて各ユーザ の性別を判定し，ラベルを付与する。この際，判定 の信頼度の大きい (性別スコアが 0 または 1 に近い)上位 3000 件のユーザのみにラベルを付与する.

## 4 評価実験

## 4.1 実験データ

評価実験のために以下のデータを構築した。

初期データ 主に著名人の Twitterアカウントを対象にラベル付きデー夕を構築する。まず，Twitter 日本フォロワー数総合ランキング [10] から上位 2 万件 のアカウントを収集する。それぞれのアカウントか ら, Twitter API を用いて分類器の学習に必要な情報 を獲得する、ツイートについては, リツイートを除 く最新の投稿を 100 件獲得する。

次に，それぞれのユーザの性別を Twitter 以外の 情報を参照して自動的に判定する，具体的には，各 ユーザ (著名人) の Wikipedia のエントリを参照し，表 2 ツイートによる分類器を用いた性別推定の正解率

そのプロフィール画像を得る。そして，オンライン 顔認識プラットフォーム Face++[11]を用いてユー ザの性別を判定し，それをラベルとして付与する。 Wikipedia のエントリがないとき, Goolge 画像検索 を用いて上位 5 件の画像を取得し，それぞれの画像の性別を Face++を用いて判定し，その多数決に よって性別のラベル付けを行う。

上記の処理によって 5000 人のユーザのラベル付 きデータを獲得した。実験では，これを 8:1:1の割合で訓練, 開発, テストデータに分割して使用した。 ラベルなしデータ 訓練データの自動拡張のため,性別のラベルが付与されていないユーザの集合を 得る。まず，前述のフォロワー数ランキングの順位 2 万から 3 万のユーザを選ぶ. 次に, Twitter API に よって分類器の学習に必要な情報 (ツイートについ ては初期データと同じく最新の 100 件のツイート) の取得を試み，これに成功した 6,845 名のユーザを ラベルなしデータとした。

評価データ 著名人ではない一般ユーザを対象に人手で性別のラベルを付与し, 評価データを構築す る. 初期データの著名人ユーザをフォローしてい るユーザのうち，フォロワー数が 1,000 人以下 ${ }^{11}$ の ユーザを選別する．３名の被験者に，Twitter ユーザ の最新の 20 件のツイートやプロフィール画面を参照し，「男性」「女性」「不明」のいずれかを付与する ことを依頼する．２名以上の被験者が「男性」また は「女性」のラベルを付与した 459 名のユーザを選別し, 評価デー夕とした。

## 4.2 実験結果

## 4.2.1 ツイートによる分類器の評価

3.1 項で述べたツイートのテキストと画像を元に 性別を予測する分類器を評価する．実験結果を表 2

表 3 個々の分類器ならびに統合モデルの評価デー夕に対する性別推定の正解率

Tw-ave, Tw-soft, Tw-sel はツイートに基づく分類器のうち表 2 の初期データの正解率が最も高い Ensemble model である。その他の分類器の略号は次の通り。統計:Twitter の統計量, 画像-P: プロフィール画像, 画像-H: ヘッ ダ画像，画像-PH: プロフィール\&ヘッダ画像，自己: 自己紹介文，フォ自己: フォロワーの自己紹介文

に示す. ave, soft, sel は， 3.1 項の冒頭で述べた個々 のツイートの性別スコアを元にユーザの性別を予測 する方式の違いを表す。

初期データでは， Text only モデルの正解率が，テ キストと画像の両方の情報を用いる Early fusion, Late fusion, Dense fusion の各モデルよりも高い. た だし，画像を含むツイートについては，テキスト・画像を同時に考慮するモデルの精度が高いことが 確認された。結果として, Text only model と Early fusion model を組み合わせた Ensemble model の正解率が最も高かった。なお, ave, soft, sel の優劣はモデ ルによって異なり，どの手法が最適であるかを結論付けることはできなかつた.

一方，評価データでは, Image only model は Text only model よりも正解率が高く, Caption model 以外 のテキストと画像を同時に使用するモデルよりも高 い. 著名人ではない一般ユーザの場合，男女によっ て投稿する画像に顕著な違いがあり，テキストより も画像の方が性別判定の有力な手がかりになってい ると考えられる。例外は Caption モデルで，比較し た分類器の中では最高の成績を収めている.

## 4.2.2 Twitter の情報による分類器の評価

3.2, 3.3 項で述べた分類器によって評価デー夕の 性別を判定したときの正解率を表 3 に示す。初期 データのみ，初期データとそれぞれの分類器によっ て自動拡張したデー夕を使う場合 (表 3 の「拡張」),初期データおよび正解率の一番高い統合モデルに よって推定した性別ラベルを付与して自動拡張した データを使う場合 (表 3 の「拡張 (統合)」)を比較し た. 最後の実験条件は，正解率の高い統合モデルを 用いることで, 質の高い自動拡張データを獲得した ときの効果を確認するためのものである。なお，統合モデルは「拡張」と「拡張 (統合)」の実験条件と で同じモデルが得られる。

初期データを訓練データとしたとき，統合モデ ルの正解率は 0.851 であり, 個々の分類器よりも高
い.ツイートのテキストや画像だけでなく，Twitter から得られる様々な情報を考慮することが性別推定 の正解率の向上に寄与することが確認できる. 個々 の分類器では, プロフィール画像を用いた分類器の 正解率が最も高い. プロフィール画像として本人の 写真が使われている場合, 性別推定の有力な情報と なる。また，ユーザ名を用いた分類器も正解率が高 く, 名前に性差が強く現われていることがわかる.

拡張デー夕を使用することで，個々の分類器では 正解率が向上したものもあるが，統合モデルの正解率は向上しなかった. 特に正解率の高かったプロ フィール画像を用いた分類器の性能が大きく低下し ていることから，統合モデルの正解率が 0.045 ポイ ント下がった。プロフィール画像やへッダ画像を用 いた分類器は, 正解率は高いが，性別のスコアが 0.5 付近の場合が多く，性別推定の信頼度は低いことが 確認された。自動拡張によって信頼度が低い事例が 多く追加されていることが，プロフィール・ヘッダ 画像を用いた分類器の正解率が低下した原因と言え る。自動拡張データを得る手法として，それぞれの モデルよりも統合モデルの判定結果に基づいてラベ ルを決めた方が全体的には正解率が高い。このこと は，自動拡張データの品質が向上すれば，訓練デー 夕の増加が有効である可能性を示唆する．今回の実験では，個々の分類器で追加する事例数を同じにす るために，判定の信頼度の上位 3000 件のデー夕を 追加したが，ある閾値以上の信頼度の事例のみ追加 するなど，自動拡張するデー夕の性別ラベルの誤り を減らす工夫が必要である。

## 5 おわりに

本論文では，Twitter ユーザの性別を予測するため の新しい手法を提案した。評価実験では，統合モデ ルの有効性は確認できたが，自動ラベル付けによる 訓練データの拡張は効果がなかつた。今後の課題と して，拡張データの品質を高めるための手法を考案 することが挙げられる。

## 参考文献

[1] Shigeyuki Sakaki, Yasuhide Miura, Xiaojun Ma, Keigo Hattori, and Tomoko Ohkuma. Twitter user gender inference using combined analysis of text and image processing. In Proceedings of the 25th International Conference on Computational Linguistics, pp. 54-61, 2014.

[2] Zijian Wang, Scott A. Hale, David Adelani, Przemyslaw A. Grabowics, Timo Hartmann, Fabian Flöck, and Dacid Jurgens. Demographic inference and representative population estimates from multilingual social media data. In Proceedings of the World Wide Web Conference, pp. 2056-2067, 2019.

[3] Yaguang Liu, Lisa Singh, and Zeina Mneimneh. A comparative analysis of classic and deep learning models for inferring gender and age of Twitter users. In Proceedings of the 2nd International Conference on Deep Learning Theory and Applications, pp. 48-58, 2021.

[4] Antonio A. Morgan-Lopez, Annice E. Kim, Robert F. Chew, and Paul Ruddle. Predicting age groups of Twitter users based on language and metadata features. PLOS ONE, Vol. 12, No. 8, p. e0183537, 2017.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186, 2019.

[6] Dosovitskiy Alexey, Beyer Lucas, Kolesnikov Alexander, Weissenborn Dirk, Zhai Xiaohua, Unterthiner Thomas, Dehghani Mostafa, Minderer Matthias, Heigold Georg, Gelly Sylvain, Uszkoreit Jakob, and Houlsby Neil. An image is worth 16x16 words: Transformers for image recognition at scale. International Conference on Learning Representations, 2021.

[7] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, and Ilya Sutskever. Learning transferable visual models from natural language supervision. In Proceedings of the 38th International Conference on Machine Learning, pp. 8748-8763, 2021.

[8] Googletrans, (2023-1 閲 覧). https://pypi.org/ project/googletrans/.

[9] Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye, and Tie-Yan Liu. LightGBM: A highly efficient gradient boosting decision tree. Advances in Neural Information Processing Systems, Vol. 30, , 2017.

[10] Twitter 日本フォロワー数 総合ランキング, (2022-1 閲覧). https://meyou.jp/ranking/follower_allcat.

[11] Face++, (2023-1 閲覧). https://www. faceplusplus. $\mathrm{com} /$.