# 同期的テキスト補完による並列構造の生成

寺西裕紀松本裕治
理化学研究所
}

\{hiroki.teranishi, yuji.matsumoto\}@riken.jp
## 概要

本研究は並列構造とその範囲が明示された文を生成するアプローチを提案する．提案手法は等位接続詞と空所を表すトークンを 2 通りの方法で文に挿入し，言語モデルを用いてそれらの空所に同一のテキストを埋めて補完する。並列構造の範囲同定タスクにおいて，生成された並列構造を効果的に選択する枠組みを開発し，低リソース状況下の学習におけるタスクの性能向上に貢献するような並列構造の事例を提案手法が生成していることを検証する。

## 1 はじめに

言語モデルの事前学習は大規模なラベルなしテキストから汎用的な表現を得る手段として近年発展しているパラダイムである。 BERT [1] や BART [2]をはじめとする言語モデルの fine-tuning は様々なタスクの性能を底上げしたが，人手によってラベル付けされた大量の学習データではなく言語モデルを活用して効率的な学習を行う few-shot 学習 $[3,4,5,6]$ やデータ拡張 (data-augmentation) $[7,8,9,10]$ などの試みも注目されている。しかし，これらの試みの多くは文分類などの簡易なタスクへの適用に限定されており，構文解析など構造に関するタスクへの応用については研究が進んでいない1).

本研究は，言語モデルを用いて統語的な構造を生み出す試みとして，等位接続詞によって結びつけられた要素（並列句）から成る構造（並列構造）を生成するアプローチを提案する．並列構造は自然言語に頻出して構文的・意味的曖昧性を引き起こすため，多くのタスクにおいて誤りの要因となる。本研究によって不自然でないような並列構造が生成できれば，並列構造の範囲同定手法のさらなる精度向上も期待できる。本研究で提案する手法は文の一部分に着目し，そ

1）言語モデルを用いない方法で文の構造を操作してデータ拡張を行う研究 $[11,12]$ は試みられている.
の箇所と並列となるようなテキストを言語モデルによって生成することで並列構造を発生させる. より具体的には，等位接続詞とマスクトークンを 2 通りの方法で挿入した文のペアを用意し，それらの空所に入る同一のテキストをマスク言語モデルに予測させる．また，生成された並列構造とその範囲が不適当であるような事例を取り除く方法を，並列構造の範囲同定タスクの学習と統合したフレームワークとして提案する。提案手法が並列構造と範囲の組の有用な事例を生成して効果的に取捨選択することで，低リソース状況下における並列構造の範囲同定タスクの性能向上に貢献することを実験により示す.

## 2 提案手法

提案手法は text-infilling タスクによって事前学習された言語モデルを用いて並列構造の生成を行う. 形式的には, 文 $S_{1: N}=w_{1}, \ldots, w_{N}$ 内に並列構造を生じさせ，並列構造を持つ文 $S_{1: N^{\prime}}^{\prime}=w_{1}, \ldots, w_{N^{\prime}}$ とその並列構造の構成要素のアノテーション $\left.\langle k,\left.\{\left(i^{(1)}, j^{(1)}\right), \ldots\right.\}\right.\rangle$ を得る.ここで $k$ は等位接続詞の位置であり，スパン $\left(i^{(m)}, j^{(m)}\right)$ は各並列句の範囲を表す. 本研究は英語において等位接続詞 and によって結びつけられた二つの並列句から成る並列構造を生成の対象とする。この目的を達成するために，提案手法はまず入力文 $S$ から参照スパン $(i, j)$ を選択し，参照スパンと対応付けられるようなテキストを言語モデルによって生成して等位接続詞とともに挿入することで，二つの並列句 $w_{i: j}, w_{i^{\prime} j^{\prime}}$ と等位接続詞 $w_{k}$ から成る並列構造を持つ文 $S^{\prime}$ を出力する. 本手法の概要を図 1 に示す。以降の小節にて手法の詳細を説明する。

## 2.1 参照スパンに対応するテキストの生成

提案手法は大力文 $S$ において等位接続詞とマスクトークンを 2 通りの方法で埋め込んだ文 $S^{\prime(1)} ， S^{\prime(2)}$ を用いる。具体的には， $S^{\prime(1)}$ では等位接続詞とマスクトークンがこの順で参照スパンの後ろに挿入さ

## Input )

$S$ : Gold will retain its gains, he said.

## Output )

6: $\{(3,5),(7,8)\}$

Gold will retain its gains and rise further, he said. $S^{(1)}$ : transform

Gold will retain its gains and $<$ mas $k>$, he said. $S^{(2)}$ :

Gold will <mask> and retain its gains, he said.

synchronize

図 1 提案手法による並列構造生成の概要。入力文は指定されたスパン (“retain its gains”) に基づいて 2 通りの方法によってマスクされ，言語モデルがそれらのマスクに対する予測を同期的に行うことで同一のテキストを当てはめる.

れ， $S^{(2)}$ では等位接続詞がマスクトークンに続く形で参照スパンの前に挿入される。この二つのマスクに同一のテキストを埋めることによって参照スパンと対応付けられたテキストを得る。この方法は並列句が類似・可換となるように $[13,14]$ ，言語モデルが参照スパンと文脈を活用できる点で利点がある. ${ }^{2)}$

本研究ではマスクトークンに対するテキスト生成のために T5 [15]を用いる3)．T5 モデルは Transformer [16] のエンコーダ・デコーダから成り，文のマスクされたスパンを埋めるテキストを生成するよう事前学習される。例えば，エンコーダへの入力 “Thank you $\langle\mathrm{X}>$ me to your party $\langle\mathrm{Y}>$ week." に対して，デコーダが “ $<\mathrm{X}>$ for inviting $<\mathrm{Y}>$ last $<\mathrm{Z}>”$ を出力するよう訓練される. この学習方法に則って，提案手法は文 $S^{\prime(1)} ， S^{\prime(2)}$ をそれぞれ独立に $\mathrm{T} 5$ のエンコーダに与え，マスクトークンに当てはまるテキストをデコーダによって生成する。ただし， $S^{(1)}$, $S^{\prime(2)}$ のマスクトークンに入るテキストが同一となるような成約下でデコーディングを行う.

$
\begin{array}{r}
\mathbf{u}_{t}^{\prime(1)}=\mathbf{u}_{t}^{\prime(2)}=f\left(\mathbf{u}_{t}^{(1)}, \mathbf{u}_{t}^{(2)}\right) \\
T_{t}^{\prime(1)}=\arg \max \left(\mathbf{u}_{t}^{\prime(1)}\right) \\
T_{t}^{\prime(2)}=\arg \max \left(\mathbf{u}_{t}^{\prime(2)}\right)
\end{array}
$

ここで $\mathbf{u}_{t}^{(1)} \in \mathbb{R}^{V}, \mathbf{u}_{t}^{(2)} \in \mathbb{R}^{V}(V$ はトークンの語彙数）はそれぞれ，入力文 $S^{\prime(1)} ， S^{\prime(2)}$ に対するデコー ディングステップ $t$ におけるトークンのスコアベクトル（logit）であり，二つのベクトルは関数 $f$ の働きによって同じ値を持つように同期される. $S^{(1)}, S^{\prime(2)}$ のどちらか一方の文脈のみに過剰に適合するトークンが出力されることを避けるため,

2） $S^{\prime(1)}$ だけを用いる方法では，並列構造の範囲が不適当となるテキストが生じやすい（例：“The boys and <mask> play baseball on Saturdays." $\rightarrow$ "[The boys] and [Mary usually] play baseball on Saturdays.").

3） BERT を用いた並列構造の生成方法を Appendix A に示す.本研究では関数 $f$ として要素ごとに最小値をとる （element-wise min）関数を採用する ${ }^{4}$.

## 2.2 教師あり並列構造解析への適用

前節で示した方法によって並列構造を持つ文が得られるが，並列構造の範囲が不適当な例が生じうる。そのような例は並列句間の一致を判定するような後処理によって取り除くことが望ましいが，一致を判定するルールなどを開発するコストがかかる.本研究では，範囲が明示された並列構造を含む文のアプリケーションとして，生成された事例を並列構造の範囲同定タスクの教師データとして用いる。本節は範囲同定タスクの学習の枠組みのなかで不適当な事例を取り除く方法を示す (Algorithm 1).

はじめに並列構造の範囲同定モデル $M[14,17]$ を少量のラベル付きデータ $L$ で学習し, 以降は $L$ に加えて大量のラベルなしデータ $U$ から生成された事例を用いて学習を行う。各学習イテレーションにおいて，Uから並列構造を持たない文 $x$ をランダムに選択し，提案手法の生成モデル $G$ によって並列構造を含む文 $x^{\prime}$ とれに対応する並列構造範囲のアノテーション $y^{\prime}$ を得る5). 生成によって得た事例 $\left(x^{\prime}, y^{\prime}\right)$ は学習モデル $M$ によってスコアが割り当てられ，その値が閾値 $\delta$ 以上であれば適当な例だと見なしてミニバッチ $B$ に追加する。この生成・選定の手順を事例が $K$ 個得られるまで最大で $K_{\text {max }}$ 回繰り返し， $N_{\text {batch }}-K$ 個の事例を $L$ から $B$ に加えて， $M$ の学習・更新を行う。

4）要素ごとに平均をとる（element-wise mean）関数の場合，あるトークンに対する値が片方の logit で著しく高く，もう一方の logitではそれほど高い值でない場合，平均化しても依然として高い値となってしまい，過剩適合が生じやすい。

5）文の異なるスパンを参照することで異なる並列構造を生成できることから，復元抽出によって文 $x$ をサンプルする.

## 3 実験

本研究は提案手法による並列構造の生成を並列構造の範囲同定の学習に適用することで性能評価する).

## 3.1 実験設定

データ構築並列構造がアノテーションされた Penn Treebank (PTB) [18] を用いて実験を行う，学習データの追加による性能向上を確かめるために，低リソース状況下における評価を行う。学習セット 39,832 文のうち並列構造を持つ文 15,481 の中から， ランダムに 300 文（または 600 文）選び，5:1 の比で学習用データ $L$ とモデル選択のための検証用データに分割し，並列構造を持たない 24,351 文を生成元のデータ $U$ として用いる7). 実験の評価は PTB のテストセットで行い，PTB の開発セットは追加分析のために用いる．同様の手順によって，生物医学系論文のアブストラクトから成る GENIA Treebank [19]

6）定性的分析を Appendix C に示す.

7）言語モデルに十分な文脈を与えるために，10 語未満から成る文は $U$ から取り除く。

## でも実験を行う.

評価方法とモデル各等位接続詞に対する並列構造全体の始点・終点の同定精度（accuracy）によってモデルを評価する. タスクに使用するモデルとして，Teranishi ら [14]の手法と同様に，並列構造の始点・終点の可能な全ての組み合わせについてスコア計算を行う機構を用いるが，下層には BERT （BERT-base-cased）を用いる．位置 $k$ に出現する等位接続詞に対する並列構造の始点・終点ペア $(i, j)$ のスコアは次のように計算される。

$
\begin{aligned}
\operatorname{Score}_{\theta}(i, j, k) & =\operatorname{MLP}\left(F_{\theta}(i, j, k)\right) \\
F_{\theta}(i, j, k) & =\left[\mathbf{h}_{i}-\mathbf{h}_{k+1} ; \mathbf{h}_{j}-\mathbf{h}_{k-1}\right]
\end{aligned}
$

ここで MLP は 2 層の線形変換と ReLU の活性化関数から成るニューラルネットワークであり， $\mathbf{h}_{t}$ は BERT の Transformer から出力された $t$ 番目のトークンの表現ベクトルである．可能な組み合わせの全スコアは softmax 関数によって正規化され，各スコアは 0 から 1 の値となる. このニューラルネットワー クを学習データ $L$ のみで訓練したものをべースラインのモデルとして定める。また，提案手法における文の参照スパンは，句構造解析によって得られた構文木の任意の句をランダムに選択することによって得る. 学習の詳細設定は Appendix B に示す.

## 3.2 結果と分析

実験結果を表 1 に示す. 提案手法による並列構造の生成によって，範囲同定モデルは概してべースラインよりも高い性能を達成した。このことは提案手法が BERT と T5 のモデルを用いてタスクの性能向上に寄与するような有用な事例を生成していることを示唆している．また， T5 は BERT と比較するとより効果的な事例が生成できており，これは事前学習において BERT が独立したマスクに対して一つのトークンを予測しているのに対し， T5 は sequence-to-sequence 学習によってマスクに対してトークンの系列を予測しているという違いによるものだと推測される. 並列構造の統語範疇ごとの評価では，T5を用いた生成によって S や SBAR など節の並列構造の同定精度が改善しており，T5 が比較的短いトークン系列を予測するよう事前学習されていることを考えると予想に反する結果である。一方で，名詞の並列構造はそれほど改善が見られないどころか精度が下がっているケースも観測される。これは少量の学習データ $L$ に含まれる並列構造の多く

表 1 生成された事例を用いた fine-tuning によるテストセットにおける結果. 最初の列は学習に使用したラベル付きデー タのサイズを表す. 表中の数字はデータ構築・生成・fine-tuning 5 回通じて試行した結果の平均と標準偏差を表す.

図 2 学習データのサイズによる精度の推移.

が名詞の並列であり，名詞並列に関する学習が十分にできているため，生成による学習データのかさ増しがかえって悪影響を及ぼしていると考えられる。学習データ $L$ のサイズによるパフォーマンスの推移をPTB の開発セットにて観測すると，学習データが増えるにつれて提案手法による改善幅は小さくなり，十分な学習データが利用できる状況になるとむしろ精度の低下につながっている（図 2）。

追加の分析として，生成結果の選定や同期的生成を適用しない場合の性能を PTB の開発セットにて調査した. 前者は選定の閾値 $\delta$ を 0 に設定したものであり，後者は文 $S^{\prime(1)}$ のみを生成に用いたものである. ただし，同期的生成を用いない後者の設定は範囲が不適当な並列構造が生成されやすく，モデル $M$ による選定の過程で取り除かれてしまうため，提案手法によって得られた文 $x^{\prime}$ のみを採用して並列構造の範囲 $y^{\prime}$ はモデル $M$ が自身で予測し，その確信

表 2 異なる設定による精度の違い $(|L|=250)$.

度（確率値）に基づいて選定を行う（self-training）。実験結果を表 2 に示す. 生成された並列構造を選定せずに使用した場合に性能を大きく損なうことから，提案手法が不適当な並列構造を一定の割合で生成しており，一方で選定の仕組みによって学習のノイズとなるような事例を効果的に取り除いていることがわかる. また同期的生成を適用せずに self-training によって範囲を割り当てた場合も性能の低下につながった. モデル $M$ が誤って予測した範囲によって学習が進むにつれてノイズが増幅しているのに対し，提案手法による同期的生成では学習進度に関わらず適当な並列構造を一定の割合で生成できていることが示唆される.

以上の分析を踏まえて，生成される並列構造とその範囲が適当である事例をより高い割合で生成できるよう手法を改善していくことが提案手法の今後の課題である ${ }^{8)}$.

8）そのような方法として， T5 や BERT に並列構造の生成を促すような fine-tuning を適用することが考えられる。

## 謝辞

本研究の一部は, JST・AIP 日独仏 AI 研究（JPMJCR20G9）の支援を受けたものである.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[2] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[3] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[4] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[5] Taylor Shin, Yasaman Razeghi, Robert L. Logan IV, Eric Wallace, and Sameer Singh. AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing, pp. 4222-4235, Online, November 2020. Association for Computational Linguistics.

[6] Tianyu Gao, Adam Fisch, and Danqi Chen. Making pre-trained language models better few-shot learners. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 38163830, Online, August 2021. Association for Computational Linguistics.

[7] Xing Wu, Shangwen Lv, Liangjun Zang, Jizhong Han, and Songlin Hu. Conditional bert contextual augmentation. In João M. F. Rodrigues, Pedro J. S. Cardoso, Jânio Monteiro, Roberto Lam, Valeria V. Krzhizhanovskaya, Michael H. Lees, Jack J. Dongarra, and Peter M.A. Sloot, editors, Computational Science - ICCS 2019, pp. 84-95. Springer International Publishing, 2019.

[8] Fei Gao, Jinhua Zhu, Lijun Wu, Yingce Xia, Tao Qin, Xueqi Cheng, Wengang Zhou, and Tie-Yan Liu. Soft contextual data augmentation for neural machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5539-5544, Florence, Italy, July 2019. Association for Computational Linguistics.

[9] Ateret Anaby-Tavor, Boaz Carmeli, Esther Goldbraich, Amir Kantor, George Kour, Segev Shlomov, Naama Tepper, and Naama Zwerdling. Do not have enough data? deep learning to the rescue! In Proceedings of the AAAI Conference on Artificial Intelligence,
Vol. 34, pp. 7383-7390, Apr. 2020.

[10] Varun Kumar, Ashutosh Choudhary, and Eunah Cho. Data augmentation using pre-trained transformer models. In Proceedings of the 2nd Workshop on Life-long Learning for Spoken Language Systems, pp. 18-26, Suzhou, China, December 2020. Association for Computational Linguistics.

[11] Gözde Gül Şahin and Mark Steedman. Data augmentation via dependency tree morphing for low-resource languages. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 5004-5009, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[12] Haoyue Shi, Karen Livescu, and Kevin Gimpel. Substructure substitution: Structured data augmentation for NLP. In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 3494-3508, Online, August 2021. Association for Computational Linguistics.

[13] Jessica Ficler and Yoav Goldberg. A neural network for coordination boundary prediction. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 23-32, Austin, Texas, November 2016. Association for Computational Linguistics.

[14] Hiroki Teranishi, Hiroyuki Shindo, and Yuji Matsumoto. Coordination boundary identification with similarity and replaceability. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 264-272, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[15] Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. Journal of Machine Learning Research, Vol. 21, No. 140, pp. 1-67, 2020.

[16] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[17] Hiroki Teranishi, Hiroyuki Shindo, and Yuji Matsumoto. Decomposed local models for coordinate structure parsing. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3394-3403, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[18] Jessica Ficler and Yoav Goldberg. Coordination annotation extension in the Penn Tree Bank. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 834-842, Berlin, Germany, August 2016. Association for Computational Linguistics.

[19] Yuka Tateisi, Akane Yakushiji, Tomoko Ohta, and Jun'ichi Tsujii. Syntax annotation for the GENIA corpus. In Companion Volume to the Proceedings of Conference including Posters/Demos and tutorial abstracts, 2005.

[20] Nikita Kitaev, Steven Cao, and Dan Klein. Multilingual constituency parsing with self-attention and pre-training. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3499-3505, Florence, Italy, July 2019. Association for Computational Linguistics.

 \\

表 3 提案手法によって生成された並列構造を含む文とその範囲の例. 下線部は生成に使われた参照スパンを表す.

## A BERT を用いた同期的生成

BERTを用いた同期的テキスト生成では，文 $S^{\prime(1)}$, $S^{\prime(2)}$ の空所は BERT で用いられている [MASK] トー クンの系列によって作られる. T5 とは異なり, 生成されるトークン数は [MASK] の数に依存するが， ここでは参照スパンと同じトークン数を使用する.文 $S^{\prime(1)}, S^{\prime(2)}$ は [SEP] トークンによって連結されて BERT に与えられ，二つの [MASK] トークン系列に対する予測は次式に従って行われる。

$
\begin{gathered}
\mathbf{u}_{l+t}^{\prime}=\mathbf{u}_{m+t}^{\prime}=f\left(\mathbf{u}_{l+t}, \mathbf{u}_{m+t}\right) \\
T_{t+1}^{\prime(1)}=\arg \max \left(\mathbf{u}_{l+t}^{\prime}\right) \\
T_{t+1}^{\prime(2)}=\arg \max \left(\mathbf{u}_{m+t}^{\prime}\right)
\end{gathered}
$

ここで $t(\geq 0)$ はマスク箇所の始点 $l, m$ からの相対位置である.

## B 学習方法の設定

各ニューラルネットワークモデルに対して 10,000 イテレーションの学習を行い，構築した検証用デー タにて最も良い精度 (accuracy)を達成したモデルをテストセットでの評価に用いる. ベースラインがラベル付きデータ $L$ のみで学習されるのに対し,提案手法のモデルは最初の 1,000 イテレーションを $L$ で学習し (Algorithm 1 の 1 行目), 残りの 9,000 イテレーションはラベルなしデータ $U$ から生成された事例と $L$ によって学習を行う（Algorithm 1 の 2-15 行目). 全ての実験において，提案手法のハイパーパラメータとして $N_{\text {batch }}=16, K=8$, $K_{\text {max }}=16, \delta=0.7$ を設定する. 並列構造の生成には BERT-large-cased と T5-large のモデルを用い
る。参照スパンは Berkeley neural parser [20]によって得られた構文木に含まれる句をランダムに選択することで得るが，選択対象の句は NP, VP, ADJP, ADVP, PP, SBAR, S の句 (文全体を表す rootノードは除く) に限定される。学習において AdamW を学習率 2e-5 で適用し, 学習率はウォームアップなしで学習進度に合わせて線形に減少させる．また，勾配をノルムの閾値 1.0 でクリッピングし, weight decay を 0.01 の強度で適用する. モデルは 100 イテレー ションごとに評価され，1,000 イテレーション以降に 1,000 イテレーション連続で性能向上が見られない場合は学習を早期に打ち切る。式 2 の MLP は 256 ユニットから成る一層の隠れ層を持ち, dropout を確率 0.5 で適用する. 並列構造の範囲としては単語の境界のみを候補として，単語が複数のトークンから成る場合は最後のトークンの表現を用いてスコア計算を行う.

## C 生成された並列構造の事例分析

T5を用いた提案手法によって生成された並列構造の事例を表 3 に示す. 例 1 と例 2 はそれぞれ，生成モデルが前置詞句・動詞句を参照して生成した並列構造を表しており,これらの並列構造とその範囲は範囲同定モデル $M$ によって適当なものとして正しく判定されている. 対して例 3 は，参照スパンが複文であるために生成された並列構造に対してその範囲が不適当であるが，この事例はモデル $M$ によって学習から取り除かれている. 例 4 では生成モデルが副詞句の並列構造を生成しているが，モデル $M$ によって高い確度が割り当てられず不適当な事例として判定されている.


# デジタルアニーラを用いたパーソナライズド抽出型要約 の高速求解

高津 弘明 1 柏川 貴弘 ${ }^{2}$ 木村 浩一 ${ }^{2}$ 安藤 涼太 ${ }^{3}$ 松山 洋一 ${ }^{1}$
1 早稲田大学 2 富士通研究所 3 内外切抜通信社
takatsu@pcl.cs.waseda.ac.jp \{kashikawa, k.kimura\}@jp.fujitsu.com
ando@naigaipc.co.jp matsuyama@pcl.cs.waseda.ac.jp

## 概要

ニュース記事に代表されるまとまった量の情報を効率的に伝える音声対話システムを開発している。伝達対象の文書の要点を説明するための対話のシナリオを主計画と呼ぶ．主計画生成問題を，文書の談話構造と合計発話時間を制約として興味度が最大となる文集合を文書集合の中から抽出する組合せ最適化問題として定式化した. この組合せ最適化問題の求解速度を高速化するため，イジングマシンの一種である富士通デジタルアニーラ1)を使用した。 ニュース記事と芸術作品の解説テキストに対して談話構造と興味度を付与したデータセットを用いた実験で，デジタルアニーラにより制約違反のない準最適解が実用的な時間で得られることを確認した。

## 1 はじめに

人々のメディアへの接触時間は年々増加し，「世の中の情報量は多すぎる」「世の中の情報のスピー ドは速すぎる」といった意識が人々の間で高まっている [1]. このような社会背景を踏まえ，我々は，人々が興味のある情報を，限られた時間で，音声対話により効率的に消費することを支援する技術の開発を進めている。

我々の音声対話システムは，要点説明のための主計画と補足説明のための副計画から構成されるシナリオに基づいて対話を進行させる [2]. ユーザが受け身で聴いているとき，システムは主計画の内容を伝える。主計画を生成する問題を，一貫性と効率性の観点から，話題が異なる $N$ 個の文書から各文書の談話構造を制約としてユーザが興味のありそうな文を抽出し，その内容を音声で $T$ 秒以内に伝える問題として定式化する. この問題は整数線形計画問題として定式化できるが [3]，NP 困難であり，問題の規

1) https://www. fujitsu.com/jp/digitalannealer/模が大きくなると，最適解を見つけるのに膨大な時間が必要になる．そこで，本研究では，組合せ最適化問題を解くことに特化した非ノイマン型のコンピュータであるイジングマシンを用いることで高速化を試みる。イジングマシンの中でも，量子現象に着想を得たデジタル回路により，組合せ最適化問題を高速に解くアーキテクチャである富士通デジタルアニーラを使用し，ユーザごとにパーソナライズした主計画を高速に生成できることを示す.

## 2 デジタルアニーラ

量子コンピューティング技術は大きく量子ゲート方式とイジングマシン方式に分類される．量子ゲー ト方式は，0 と 1 の重ね合わせ状態が取れる量子ビットを操作する量子ゲートを用いて汎用的な計算を行う方式である $[4,5]$. イジングマシン方式は,+1 と-1の 2 值を取るスピンとスピン間の相互作用でエネルギーが規定されるイジングモデルに問題をマッピングして解を探索する組合せ最適化問題に特化した方式である．イジングマシン方式には，超電導回路で量子ビットを操作する量子アニーリング方式 $[6,7,8]$ と，デジタル回路で古典ビットを操作するシミュレーテッドアニーリング方式 $[9,10,11,12,13]$ がある。デジタルアニーラは，シミュレーテッドアニーリング方式のイジングマシンであり，量子現象に着想を得たデジタル回路（Digital Annealing Unit: DAU）により組合せ最適化問題を高速に解くアーキテクチャである $[11,12,13]$.

## 2.1 第二世代デジタルアニーラ

第二世代デジタルアニーラ（DA2）は，シミュレーテッドアニーリングに基づく手法であるアニー リングモード（DA2-AM）[11] またはマルコフ連鎖モンテカルロ法 (Markov-Chain Monte Carlo: MCMC) に基づく手法であるパラレルテンパリングモー

図 1 第三世代デジタルアニーラの構成 [13]

ド（DA2-PTM）[12] を使用して，QUBO（Quadratic Unconstraint Binary Optimization）形式で定式化された組合せ最適化問題の解を高速に探索する．QUBO モデルは，イジングモデルにおけるスピンの代わりに 0 と 1 のバイナリ変数を用いたモデルである. DA2 は問題のビット数に応じて，ビット数パラメー 夕を 1024，2048，4096，8192 の中から指定する必要がある. DA2 は 4096 ビット以下の問題を 64 ビット精度で，8192 ビット以下の問題を 16 ビット精度で扱うことができる.

## 2.2 第三世代デジタルアニーラ

第三世代デジタルアニーラ（DA3）は，最大 10 万ビットのバイナリ二次計画 (Binary Quadratic Programming: BQP）問題を入力して，ソフトウェア介入層 (Software Intervention Layer: SIL) と探索コアが協調して最適解または近似解を求めるソフトウェアとハードウェアのハイブリッド求解システムである（図 1）[13]. 制約項をエネルギー関数に含めた QUBO 形式による求解は, 制約条件の数や変数の規模が増大すると最適解や近似解への到達が難しくなる [14]. その問題を解決するため，DA3 は，エネルギー関数をコスト項と制約項に分離し, 制約項の重みを自動的に調整する仕組みを持つ. さらに， DA3 は，バイナリ変数列の総和が 1 となる等式制約（1hot 制約）および線形不等式制約を直接設定するインタフェースを持つ. 探索コアでは，制約活用サーチが，ソフトウェア介入層で生成された探索開始点を起点に，制約項と自動調整された制約係数による制約違反の影響度および，1hot 制約や不等式制約などの条件に従って大域的に解を探索し，良解を抽出する. そして，DAU ハードウェアが良解周辺の最適解を MCMC で高速に探索する。表 1 変数の定義

## 3 手法

## 3.1 ILP モデル

$N$ 個の文書からユーザ $u$ が興味のありそうな文を抽出し，その内容を音声で $T$ 秒以内に伝える要約問題を考える。主計画の要件は，ユーザにとって興味がある内容であること，ストーリーが一貫していること，㔯長でないことである。そこで，要約問題を，談話構造と合計発話時間を制約とし，文に対する興味度の高さと文間の類似度の低さのバランスで目的関数を定義した整数線形計画（Integer Linear Programming: ILP）問題として定式化する。

$
\max . \quad \sum_{k \in D_{N}^{u}} \sum_{i<j \in S_{k}} b_{k i}^{u} b_{k j}^{u}\left(1-r_{k i j}\right) y_{k i j}
$

s.t.

$
\begin{aligned}
\forall k, i, j: & x_{k i} \in\{0,1\}, \quad y_{k i j} \in\{0,1\} \\
& \sum_{k \in D_{N}^{u}} \sum_{i \in S_{k}} t_{k i} x_{k i} \leq T \\
\forall k \neq l: & \sum_{i \in S_{k}} x_{k i}-\sum_{i \in S_{l}} x_{l i} \leq L_{k l} \\
\forall k, i: \quad & j=f_{k}(i), \quad x_{k i} \leq x_{k j} \\
\forall k, m, i \in C_{k m}: & \sum_{j \in C_{k m}} x_{k j}=\left|C_{k m}\right| \times x_{k i} \\
\forall k, i, j: \quad & y_{k i j}-x_{k i} \leq 0 \\
\forall k, i, j: \quad & y_{k i j}-x_{k j} \leq 0 \\
\forall k, i, j: & x_{k i}+x_{k j}-y_{k i j} \leq 1
\end{aligned}
$

変数の定義を表 1 に示す. $k$ 番目の文書 $d_{k}$ の $i$ 番目の文を $s_{k i}$ と表記する. $r_{k i j}$ は，文 $s_{k i}$ と文 $s_{k j}$ の内容語の Bag-of-Words のコサイン類似度である。

式 2 は要約の合計発話時間を $T$ 秒以下にする制約である。式 3 は抽出する文数の文書間での偏りを $L_{k l}$ 文以下に抑える制約である. 式 4 は文 $s_{k i}$ を抽
出する場合，談話依存構造木における親ノードの文 $s_{k j}$ も抽出しなければならないとする制約である.式 5 はあるチャンクの文 $s_{k i}$ を抽出する場合，同チャンクに含まれる他の文も抽出しなければならないとする制約である. 式 6 から式 8 は文 $s_{k i}$ と文 $s_{k j}$ が選ばれた際に $y_{k i j}=1$ とするための制約である.

$L_{k l}$ は, 合計発話時間の上限値 $T$ と文書数 $N$, 文の平均発話時間 $\bar{t}$ に基づいて以下の式で計算する。

$
\begin{aligned}
L_{k l} & =L+\left.\lceil\max \left(\max \left(\bar{n}-\left|S_{k}\right|, 0\right), \max \left(\bar{n}-\left|S_{l}\right|, 0\right)\right)\right.\rceil(9) \\
L & =\left.\lfloor\frac{\bar{n}}{\sqrt{N}}+0.5\right.\rfloor \\
\bar{n} & =\frac{T}{\bar{t} \times N}
\end{aligned}
$

五は一つの文書から抽出が期待される文の数を表し， $L$ はその值を文書数の平方根で割り，四捨五入した値である.

## 3.2 QUBO モデル

DA2 で組合せ最適化問題を解くために，上記 ILP モデルに基づき，QUBO モデルのエネルギー関数 （ハミルトニアン） $H$ を以下のように定義する。

$
\begin{aligned}
H & =H_{0}+\lambda_{1} H_{1}+\lambda_{2} H_{2}+\lambda_{3} H_{3}+\lambda_{4} H_{4} \\
H_{0}= & -\sum_{k \in D_{N}^{u}} \sum_{i<j \in S_{k}} b_{k i}^{u} b_{k j}^{u}\left(1-r_{k i j}\right) x_{k i} x_{k j} \\
H_{1} & =\left(T-\sum_{k \in D_{N}^{u}} \sum_{i \in S_{k}} t_{k i} x_{k i}-\sum_{n=0}^{\left.\lfloor\log _{2}(T-1)\right.\rfloor} 2^{n} y_{n}\right)^{2} \\
H_{2}= & \sum_{k \neq l \in D_{N}^{u}}\left(L_{k l}-\left(\sum_{i \in S_{k}} x_{k i}-\sum_{i \in S_{l}} x_{l i}\right)\right. \\
& \left.\quad-\sum_{n=0}^{\left.\lfloor\log _{2}\left(L_{k l}-1\right)\right.\rfloor} 2^{n} z_{n}\right)^{2} \\
H_{3}= & \left(x_{k i}-x_{k i} x_{k j=f_{k}(i)}\right)^{2} \\
H_{4}= & \sum_{k \in D_{N}^{u}} \sum_{m \in C_{k}} \sum_{i \in C_{k m}}\left(\sum_{j \in C_{k m}} x_{k j}-\left|C_{k m}\right| \times x_{k i}\right)^{2}
\end{aligned}
$

ここで， $y_{n}$ と $z_{n}$ は不等式制約を等式制約に変換するために導入したスラック変数である. $\lambda_{1}, \lambda_{2}, \lambda_{3}$, $\lambda_{4}$ は各制約に対する重みである.

QUBO モデルはシミュレーテッドアニーリングに基づく手法 [11] やパラレルテンパリング [12]によって解くことができる.これらの手法では異なる初期値で並列にアニーリングすることで複数の解候補を得ることができる. しかしながら，これらの手法では制約違反が発生しないことを保証していない。そ
のため，後処理で，得られた解候補の中から制約違反スコアが最小なもののうち，目的関数のスコアが最大な解を採用する. 制約違反スコア $E_{\text {total }}$ は以下の式で計算する。

$
\begin{aligned}
E_{\text {total }} & =E_{\text {dep }}+E_{\text {chunk }}+E_{\text {bias }}+E_{\text {time }} \\
E_{\text {bias }} & =\sum_{k<l \in D_{N}^{u}} \max \left(\hat{L}_{k l}-L_{k l}, 0\right) \\
E_{\text {time }} & =\max (\hat{T}-T, 0)
\end{aligned}
$

ここで, $E_{d e p}$ は係り受け関係の違反件数, $E_{c h u n k}$ はチャンクの違反件数, $\hat{T}$ は抽出された文集合の合計発話時間， $\hat{L}_{k l}$ は文書 $d_{k}$ と文書 $d_{l}$ で抽出された文数の差の絶対値を表す。

## 3.3 DA3 モデル

DA3 は線形不等式制約を直接設定するインター フェースを備えているため, 不等式制約を QUBO 化する必要がない。そのため，エネルギー関数はコス卜項のみ（式 13）で定義する。制約に関しては式 5 を 0 以上 0 以下の不等式に変換し，他の不等式制約 （式 2, 式 3, 式4）とともに，DA3 のインターフェー スに設定する．ソフトウェア介入層が不等式間の重み付けを自動的に調整し，制約活用サーチがこれらの不等式制約を評価しながら解の探索を行う.

## 4 実験

## 4.1 実験設定

データセットには談話構造と興味度が付与されたニュース記事データセット [15] とミュージアムデー タセット [16] を使用した。ニュース記事データセットは 1200 個のニュース記事の話題と文 (一記事あたり 15 文〜25 文）に 6 段階の興味度が付与された 2017 人分（一人あたり 6 記事）のデータセットであり，一人あたりの問題の規模は 4096 ビット以下である. ミュージアムデータセットは $\mathrm{e}$ 国宝で公開されている東京国立博物館の 400 個の国宝・重要文化財とその解説文（一作品あたり 4 文〜 14文）に 6 段階の興味度が付与された 2485 人分 (一人あたり 8 作品）のデータセットであり，一人あたりの問題の規模は 2048 ビット以下である。ニュース記事データセットを用いた実験では $N=6$ 個の記事を $T=450$秒以内に説明する設定で，ミュージアムデータセッ卜を用いた実験では $N=8$ 個の作品を $T=330$ 秒以内に説明する設定で，要約性能を評価した。

文の発話継続長を計算するために音声合成器
表 2 情報伝達効率

} & \multicolumn{5}{|c|}{ ミュージアムデータセット（2048ビット問題） } & \multicolumn{5}{|c|}{ ニュース記事データセット（4096ビット問題） } \\

として，ニュース記事データセットでは AITalk²) を，ミュージアムデータセットでは Google Cloud Text-to-Speech ${ }^{3}$ を使用した。文間の間（ま）を 1 秒に設定し，合成音声ファイルの再生時間にこの間 （ま）の時間を加算した値を $t_{k i}$ とした.

ILP モデルは CPU 上で分枝切除法4) [17, 18] (CPU-CBC) により解いた. 具体的には PuLP ${ }^{5}$ の PULP_CBC_CMDソルバーを使用し，スレッド数は 30 に設定した. 処理時間は以下の構成の Google Compute Engine ${ }^{6)}$ 上で計測した. OS:Ubuntu 18.04, CPU:Xeon (2.20 GHz, 32 コア)，メモリ:64 GB.

DA2-PTM のレプリカ数および DA2-AM のアニー リングの繰り返し回数は 128 に設定した.DA2 の性能は主に $\lambda$ の値と一回のアニーリングにおける探索回数 (イテレーション回数) によって決まるため, 制約違反が発生しないようにこれらの值を調整した.最終的に, DA2-AM と DA2-PTM $の\left.\{\lambda_{1}, \lambda_{2}, \lambda_{3}, \lambda_{4}\right.\}$ は，ニュース記事データセットではそれぞれ $\left.\{10^{2}, 10^{6}, 10^{10}, 10\right.\}$ と $\left.\{10^{2}, 10^{5}, 10^{9}, 10\right.\}$ に, ミュージアムデータセットではそれぞれ $\left.\{10^{2}, 10^{7}, 10^{10}, 10\right.\}$ と $\left.\{10^{2}, 10^{6}, 10^{9}, 10\right.\}$ に設定した.

CPU-CBC をベンチマークとして，DA2-AM と DA2-PTM および DA3 の性能を評価した. 評価指標には EoIT ${ }_{\beta}$ (Efficiency of Information Transmission) [19]を使用した. 興味度が 4 以上（興味あり）の文の被覆率を $C$, 興味度が 3 以下（興味なし）の文の除外率を $E$ としたとき, $\operatorname{EoIT}_{\beta}$ は, 重み付き $\mathrm{F}$ 值 [20] に基づき，以下の式で定義される.

$
\operatorname{EoIT}_{\beta}=\frac{\left(1+\beta^{2}\right) \times C \times E}{\beta^{2} \times C+E}
$

## 4.2 実験結果

実験結果を表 2 に示す. 各評価指標と処理時間の值は平均值である。まず，CPU-CBC と DA2-AM

を比較すると，EoIT に関しては，DA2-AM は CPU$\mathrm{CBC}$ よりも低かったものの，処理時間に関しては， DA2-AM の方が圧倒的に早いことが確認された. 次に，DA2-AM と DA2-PTM を比較すると，イテレー ション回数が千回のときは, EOIT に差はほとんど見られなかったが，処理時間はDA2-AM の方が早いことが分かった. 一方で，DA2-AM はイテレーション回数を増やしても性能に変化が見られなかったが，DA2-PTM はイテレーション回数を増やすにしたがって EoIT が向上した. しかしながら，それに伴い処理時間も増加した. 次に, DA3 の結果に着目すると，EoIT は CPU-CBC に近い値を示した。DA2 では，問題の規模が 2048 ビットから 4096 ビットに上がると, 処理時間は増加し, EoIT は CPU-CBC との差が大きくなる傾向にあったが, DA3では, 問題の規模が大きくなっても同じ処理時間で，高い EoIT を示した。一方で，処理時間に関しては，DA2-AM が最も早い値を示した.

15 文から 25 文のニューズ記事 6 個を要約する問題では，4096ビット必要であり，DA2-AM で処理すると 1 人あたり約 0.2 秒かかるため，10万人の主計画を用意するのに，一つの DAU でおよそ 5 時間半かかる計算になる，以上のことから，この程度の規模の問題設定であれば，デジタルアニーラを用いることで，前の晚のニュースから各ユーザにパーソナライズした対話のシナリオを，翌日の通勤・通学時までに用意することが可能だと言える.

## 5 おわりに

音声対話システムにおける要点説明のための対話のシナリオである主計画を生成する問題を，文書の談話構造と合計発話時間を制約として興味度が最大となる文集合を文書集合の中から抽出する組合せ最適化問題として定式化した. シミュレーテッドアニーリングベースのイジングマシンである富士通デジタルアニーラを用いることで，実用的な時間で制約違反のない準最適解が得られることを確認した.

## 参考文献

[1] 博報堂 D Yメディアパートナーズ（編）. 広告ビジネスに関わる人のメディアガイド 2020 : メディア環境のこれからと今. 宣伝会議, pp. 20-40, 2020 。

[2] 高津弘明, 福岡維新, 藤江真也, 林良彦, 小林哲則. 意図性の異なる多様な情報行動を可能とする音声対話システム. 人工知能学会論文誌, Vol. 33 , No. 1, pp. 1-24, 2018.

[3] Hiroaki Takatsu, Ryota Ando, Hiroshi Honda, Yoichi Matsuyama, and Tetsunori Kobayashi. Personalized extractive summarization with discourse structure constraints towards efficient and coherent dialog-based news delivery. In Proceedings of the 12th International Workshop on Spoken Dialog System Technology, 2021.

[4] Frank Arute, Kunal Arya, Ryan Babbush, Dave Bacon, Joseph C. Bardin, Rami Barends, Rupak Biswas, Sergio Boixo, Fernando G. S. L. Brandao, David A. Buell, Brian Burkett, Yu Chen, Zijun Chen, Ben Chiaro, Roberto Collins, William Courtney, Andrew Dunsworth, Edward Farhi, Brooks Foxen, Austin Fowler, Craig Gidney, Marissa Giustina, Rob Graff, Keith Guerin, Steve Habegger, Matthew P. Harrigan, Michael J. Hartmann, Alan Ho, Markus Hoffmann, Trent Huang, Travis S. Humble, Sergei V. Isakov, Evan Jeffrey, Zhang Jiang, Dvir Kafri, Kostyantyn Kechedzhi, Julian Kelly, Paul V. Klimov, Sergey Knysh, Alexander Korotkov, Fedor Kostritsa, David Landhuis, Mike Lindmark, Erik Lucero, Dmitry Lyakh, Salvatore Mandrà, Jarrod R. McClean, Matthew McEwen, Anthony Megrant, Xiao Mi, Kristel Michielsen, Masoud Mohseni, Josh Mutus, Ofer Naaman, Matthew Neeley, Charles Neill, Murphy Yuezhen Niu, Eric Ostby, Andre Petukhov, John C. Platt, Chris Quintana, Eleanor G. Rieffel, Pedram Roushan, Nicholas C. Rubin, Daniel Sank, Kevin J. Satzinger, Vadim Smelyanskiy, Kevin J. Sung, Matthew D. Trevithick, Amit Vainsencher, Benjamin Villalonga, Theodore White, Z. Jamie Yao, Ping Yeh, Adam Zalcman, Hartmut Neven, and John M. Martinis. Quantum supremacy using a programmable superconducting processor. Nature, Vol. 574, No. 7779, pp. 505-510, 2019.

[5] Laszlo Gyongyosi. Unsupervised quantum gate control for gate-model quantum computers. Scientific Reports, Vol. 10, No. 1, pp. 1-16, 2020.

[6] M. W. Johnson, M. H. S. Amin, S. Gildert, T. Lanting, F. Hamze, N. Dickson, R. Harris, A. J. Berkley, J. Johansson, P. Bunyk, E. M. Chapple, C. Enderud, J. P. Hilton, K. Karimi, E. Ladizinsky, N. Ladizinsky, T. Oh, I. Perminov, C. Rich, M. C. Thom, E. Tolkacheva, C. J. S. Truncik, S. Uchaikin, J. Wang, B. Wilson, and G. Rose. Quantum annealing with manufactured spins. Nature, Vol. 473, No. 7346, pp. 194-198, 2011.

[7] Paul I. Bunyk, Emile M. Hoskinson, Mark W. Johnson, Elena Tolkacheva, Fabio Altomare, Andrew J. Berkley, Richard Harris, Jeremy P. Hilton, Trevor Lanting, Anthony J. Przybysz, and Jed Whittaker. Architectural considerations in the design of a superconducting quantum annealing processor. IEEE Transactions on Applied Superconductivity, Vol. 24, No. 4, pp. 1-10, 2014.
[8] Masaaki Maezawa, Go Fujii, Mutsuo Hidaka, Kentaro Imafuku, Katsuya Kikuchi, Hanpei Koike, Kazumasa Makise, Shuichi Nagasawa, Hiroshi Nakagawa, Masahiro Ukibe, and Shiro Kawabata. Toward practical-scale quantum annealing machine for prime factoring. Journal of the Physical Society of Japan, Vol. 88, No. 6, 2019.

[9] Masanao Yamaoka, Chihiro Yoshimura, Masato Hayashi, Takuya Okuyama, Hidetaka Aoki, and Hiroyuki Mizuno. A $20 \mathrm{k}$-spin Ising chip to solve combinatorial optimization problems with CMOS annealing. IEEE Journal of SolidState Circuits, Vol. 51, No. 1, pp. 303-309, 2016.

[10] Takuya Okuyama, Masato Hayashi, and Masanao Yamaoka. An Ising computer based on simulated quantum annealing by path integral Monte Carlo method. In Proceedings of the 2017 IEEE International Conference on Rebooting Computing, pp. 1-6, 2017.

[11] Maliheh Aramon, Gili Rosenberg, Elisabetta Valiante, Toshiyuki Miyazawa, Hirotaka Tamura, and Helmut G. Katzgraber. Physics-inspired optimization for quadratic unconstrained problems using a Digital Annealer. Frontiers in Physics, Vol. 7, No. 48, pp. 1-14, 2019.

[12] Satoshi Matsubara, Motomu Takatsu, Toshiyuki Miyazawa, Takayuki Shibasaki, Yasuhiro Watanabe, Kazuya Takemoto, and Hirotaka Tamura. Digital Annealer for high-speed solving of combinatorial optimization problems and its applications. In Proceedings of the 25th Asia and South Pacific Design Automation Conference, pp. 667-672, 2020.

[13] 中山寛, 小山純平, 米岡昇, 宮澤俊之. 解説 : 第三世代デジタルアニーラの技術, pp. 1-9, 2021.

[14] Fred Glover, Gary Kochenberger, and Yu Du. Quantum bridge analytics I: A tutorial on formulating and using QUBO models. 4OR: A Quarterly Journal of Operations Research, Vol. 17, No. 4, pp. 335-371, 2019.

[15] Hiroaki Takatsu, Takahiro Kashikawa, Koichi Kimura, Ryota Ando, and Yoichi Matsuyama. Personalized extractive summarization using an ising machine towards real-time generation of efficient and coherent dialogue scenarios. In Proceedings of the 3rd Workshop on Natural Language Processing for Conversational AI, pp. 16-29, 2021.

[16] 高津弘明, 安藤涼太, 中野鐵兵, 柏川貴弘, 木村浩一,松山洋一. イジングマシンを用いたミュージアムガイドの発話計画最適化. 第 12 回対話システムシンポジウム, pp. 26-31, 2021.

[17] John E. Mitchell. Branch-and-cut algorithms for combinatorial optimization problems. Handbook of Applied Optimization, pp. 65-77, 2002.

[18] Manfred Padberg and Giovanni Rinaldi. A branch-and-cut algorithm for the resolution of large-scale symmetric traveling salesman problems. SIAM Review, Vol. 33, No. 1, pp. 60-100, 1991.

[19] Hiroaki Takatsu, Mayu Okuda, Yoichi Matsuyama, Hiroshi Honda, Shinya Fujie, and Tetsunori Kobayashi. Personalized extractive summarization for a news dialogue system. In Proceedings of the 8th IEEE Spoken Language Technology Workshop, pp. 1044-1051, 2021.

[20] Nancy Chinchor. MUC-4 evaluation metrics. In Proceedings of the 4th conference on Message understanding, pp. 22-29, 1992.

図 2 文数ごとの問題数（ミュージアムデータセット）

文数 CPU-CBC (スレッド数 $=30)$

図 3 文数ごとの問題数（ニュース記事データセット）

図 4 文数ごとの処理時間（ミュージアムデータセット）

図 5 文数ごとの処理時間（ニュース記事データセット）

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 対訳句追加による NMT の翻訳

浅井奏人 村上 仁一
鳥取大学工学部
b18t2002m@edu.tottori-u.ac.jp
murakami@tottori-u.ac.jp

## 概要

近年，機械翻訳の分野においてニューラル機械翻訳 (Neural Machine Translation;NMT) がある。しかし，NMT の翻訳精度は人手による翻訳の精度には及ばない. 翻訳精度の向上には大量の対訳学習文を用いる必要がある. しかし，学習に用いるデータが文のみの場合精度の向上に限界がある. 本論文では，日英 NMT において対訳句を利用する手法を示す. 次に，対訳句の正答率を変化した場合について述べる. 最後に，初期値を変更した場合について述べる.

## 1 はじめに

近年，機械翻訳の分野においてニューラル機械翻訳 (Neural Machine Translation;NMT) がある. NMT は，従来の手法と比較して，より流暢性の高い翻訳を出力することができる。 一方で，NMT の翻訳精度は人手による翻訳の精度には及ばない. 翻訳精度の向上には大量の対訳学習文を用いる必要がある. これを行うには，コストがかかる。

そこで本研究では，日英 NMT において対訳句を利用する手法を提案する。日英 NMT の学習において，対訳学習文に，対訳学習文から抽出した対訳句を追加する. 対訳句を追加することで，語句の対応情報を強化できるため，翻訳精度を向上すると仮定する。

## 2 対訳句の利用

要素合成法の問題を以下に示す. この問題は，影響の大小はあるが，すべての翻訳システムに当てはまる。

1. 文を翻訳するとき，入力文を単語ごとに翻訳しても，文の意味は間違った翻訳になることが多い.
2. 翻訳精度を向上させるには，文全体の意味を考慮して翻訳する必要がある。これを考慮するために，できるだけ長い句ごとに翻訳を行う必要がある.

例を以下に示す.

・入力文: 彼は我を通した。
- 参照文:He had his own way.
- 出力文:He passed me.

一般的に，「通す」は"pass"，「我」は"me"と訳すことが多い. しかし，文全体の意味を考えると間違った翻訳になる。そこで，対訳学習文に対訳句を追加学習することで，文全体の意味を考慮した翻訳を行うことができる．具体的には，対訳学習文に，以下に示す対訳句を追加学習する。

・日本語句: 我を通した
- 英語句:had his own way

対訳学習文に対訳句を追加することで，翻訳精度が向上すると考えられる。

## 3 提案手法

本研究では，対訳学習文から抽出した対訳句を，対訳学習文に追加する．対訳句追加の流れを図 1 に示し、手順を以下に示す.

図 1. 対訳句追加の流れ
手順 1 対訳学習文と, 対訳学習文から抽出した対訳句を組み合わせて，新たな学習データを作成する。

手順 2 手順 1 で作成した学習データを用いて NMT のモデルの学習を行う.

手順 3手順 2 で学習したモデルを用いて日英ニューラル機械翻訳を行う。

## 4 実験

## 4.1 対訳学習データ

本研究では，実験データとして日英重文複文コー パス [1] から抽出した単文を用いる. 対訳学習デー タの内訳を表 1 に，対訳学習文の例を表 2 に示す.

表 2. 対訳学習文の例

入力文 $1:$ 星印のノートを買った。

出力文 1:I bought a star brand notebook.

入力文 $2:$ この動物園には、コアラがいます。

出力文 2:There are koala bears in this zoo.

入力文 3 : 彼は、この会社の主要な人物である。出力文 $3: \mathrm{He}$ is a central figure in this company.

## 4.2 対訳句

本研究の対訳句は，対訳学習文から自動抽出したものを用いる. (森本 [2] 参照) 正答率は $95 \%$ である. 対訳句の例を表 4 に示す.

表 3. 対訳句データの内訳

$
\text { 対訳句 } 41926 \text { 句 }
$

表 4. 対訳句の例

## 4.3 評価実験

本研究では、NMT の学習データに対訳学習文のみを用いる手法 (以下，ベースライン) と，対訳学習文に対訳句を追加した学習データを用いる手法 (以下，提案手法) を比較する。

評価方法として，自動評価と人手評価を行う，自動評価では実験で得られた 16328 文の出力文に対して，4つの自動評価指標 (BLEU，METEOR，RIBES， TER) で評価を行う. 人手対比較評価では, 出力文 16328 文より無作為に抽出した 100 文に対して，正確性に基づいて対比較評価を行う.

## 5 実験結果

## 5.1 自動評価

出力文 16328 文において，提案手法とベースラインの自動評価の結果を表 5 に示す.

表 5. 自動評価結果

表 5 より，自動評価の結果では，提案手法の翻訳精度が高いことが確認できる.

## 5.2 人手評価

出力文 16328 文から無作為に抽出した 100 文に対して人手評価を行った. 人手評価は，提案手法とベースラインとの対比較評価である．評価者は 5 名である。結果を表 6 に示す. 表 6 の結果は, 5 名が同じ 100 文を評価し,その結果をまとめた. また，評価の説明を以下に示す.

## - 提案手法 $\bigcirc$

提案手法とベースラインを比較した際，対訳句追加時の出力文の方が入力文の意味に近い.

## ・ベースライン $\bigcirc$

提案手法とベースラインの比較した際，ベー スラインの出力文の方が入力文の意味に近い.

## ・差なし

提案手法とベースラインを比較した際，両手法の出力文の評価には差がない.

$\cdot$同一

提案手法とベースラインを比較した際，両手法の出力文がほぼ同じである.
表 6. 人手対比較評価結果

表 5 より，提案手法とベースラインを比較して，提案手法の方が翻訳精度が高いことが確認できる。

## 5.3 人手評価例

ベースラインと提案手法との対比較評価において，提案手法○とした例を表 7 に，ベースラインとした例を表 9 に，差なしの例を表 10 にそれぞれ示す.

## 5.3.1 提案手法 $\bigcirc$ の例

表 7. 提案手法○の例

 \\

表 6 の例において，入力文中の語句「静寂」に対して，ベースラインでは相当する翻訳が得られていない。一方，提案手法では比較的正しい出力「stillness」を得られている. 表 7 で使用した対訳句を表 8 に示す.

表 8 . 使用した対訳句

森の静寂の中 quietude of the woods かすかなa aint

音

noise

聞こえた heard

5.3.2

## ベースライン $\bigcirc の$ 例

表 9. ベースライン○の例

 \\

表 9 の例において，提案手法では一部しか翻訳できていない。一方,ベースラインでは比較的正しい出力文を得られている。

## 5.3.3 差なしの例

表 10. 差なしの例

表 10 の例において，ベースラインおよび提案手法に入力文中の語句「輸出入業」に対する出力が得られていない.このことから，どちらも翻訳ができていないと判断して差なし判定とした。

## 6 考察

## 6.1 対訳句の正答率に対する翻訳精度の 変化

本研究で用いた対訳句の正答率は，95\%である. この精度が低下したときの，翻訳精度の変化を調査した. 本実験の対訳句の正答率を $100 \%$ と仮定して,正答率を 50\%，75\%，90\%に設定した．表 11 に自動評価の結果を示す.

表 11. 正答率変更後の自動評価結果

表 11 より対訳句の正答率を下げた場合，翻訳精度が下がることを確認した。 $75 \%$ まで下げた場合，翻訳精度がベースラインより低下している。

## 6.2 初期値の変更

NMT は，初期値によって翻訳精度が変化する。本節では，提案手法と別の初期値を用いて翻訳した. 結果を表 12 に示す.
表 12. 初期値変更後の自動評価結果

表 12 より，初期値を変更すると，翻訳精度が変化していることがわかる。しかし，表 11 と表 12 を比較すると，ほぼ同じ傾向があることがわかる。つまり，対訳句の正答率が低いと翻訳精度は向上しない.

## 6.3 対訳句追加による効果

本実験の結果として，対訳句を追加ことで翻訳精度が向上することが確認できた. しかし, 対訳句の正解率を $75 \%$ もくは $50 \%$ まで下げた場合，対訳句追加前の翻訳精度を下回ることを確認した. このことから翻訳精度の向上には, 高精度な対訳句を追加する必要があると推察される.

## 6.4 関連研究

## 6.4.1 PBSMT に対訳句を追加

本論で述べた手法と似た手法を用いる機械翻訳に, 句に基づく統計機械翻訳 (Phrase-Based Statistical Machine Translation;PBSMT) がある。（日野 [3]）日野は，日英翻訳において PBSMT を用いて翻訳精度の向上に成功している. なお, 日野の研究結果と本論の研究結果から, NMT の翻訳精度は PBSMT と比較して対訳句の精度による影響が大きいと推察される。

## 6.4.2 複文での調査

本研究の関連研究として, 今仁 [4] の研究を挙げる. 今仁は本論で述べた実験を, 自動で作成した対訳句と人手で作成した対訳句で比較を行った. その結果として，高精度かつ多量の人手対訳句を用いた翻訳が精度が高いことが確認できた. また, 本論で述べた研究は単文で行ったが，今仁は複文で行っていた。複文で行った場合，人手評価が不安定になる問題点がある.

## 7 おわりに

NMT の翻訳精度は人手の翻訳には及ばないことが問題となっていた.そこで，本研究では，対訳学習文から作成した対訳句を，対訳学習文に追加する手法を提案した. 実験の結果，自動評価および人手評価ともに，提案手法の有効性が確認できた。一方で，対訳句の精度が低下した場合，翻訳精度はべー スラインより低くなることが確認できた。翻訳精度が向上した理由は，対訳句を追加することで，語句の対応情報が強化されたと考えられる．今後はより人手の翻訳精度に近づける手法を検討し，さらなる翻訳精度の向上を試みたい.

## 謝辞

人手評価には，以下 5 名の学生の協力を得ました. 感謝いたします. (新田玲輔，矢野貴大，齋藤永, 森唯人, 柳原弘哉)

## 参考文献

[1] 村上仁一, 藤波進. 日本語と英語の対訳文対の収集と著作権の考察. 第一回コーパス日本語学ワークショップ,pp.119-130, 2012.

[2] 森本世人, 村上仁一. 類似度を利用したb 変換テーブルの精度向上. 2021 年度鳥取大学卒業論文, 2021.

[3] 日野聡子, 村上仁一, 徳久雅人, 村田真樹. 日英統計翻訳における対訳句コーパスの効果. 言語処理学会台 19 回年次大会,pp.556-559, 2013.

[4] 今仁優希, 村上仁一.日英ニューラル機械翻訳における対訳句の追加. 言語処理学会台 26 回年次大会,pp.169-172, 2020.


# パッセージ検索と含意関係認識による 議会議事録を対象としたファクトチェック

我藤勇樹秋葉友良
豊橋技術科学大学 情報・知能工学課程
gato.yuki.am@tut.jp akiba@cs. tut.ac.jp

## 概要

ソーシャルメディアなどで真偽不明の情報が拡散されることが増加しているため、真偽不明の情報を検証することの必要性が高まっている。本研究では、 NTCIR-16 QA Lab-Poliinfo-3のFact Verification タスクに則り、議会議事録を対象としたファクトチエックを行う。パッセージ検索と含意関係認識を用いることで、NTCIR-16のFormal Runで参加チーム中トップの成績を達成した。

## 1 はじめに

近年、デマの拡散がオンライン上で加速していることが報告されている。真偽不明の情報が広がることにより、社会に深刻な影響を及ぼす可能性がある。 このような状況に対して、NTCIR-16 QA Lab-PoliInfo-3 ${ }^{1}$ では、Fact Verificationタスクが開催された。 このタスクでは、与えられた要約の事実性を議会議事録で実際に議論されているかで判定する。また、事実であると判定した場合、その根拠となる発言部分を議会議事録から特定する。要約を議会議事録の一部に関する主張と捉えると、議会議事録を対象としたファクトチェックと考えることができる。

本研究では、Fact Verificationタスクに則り、議会議事録を対象としたファクトチェックを行う。まず、検索手法により、議会議事録の中から主張に関連するパッセージを特定する。そして、主張と検索したパッセージを用いて、含意関係認識により主張の真偽を判定する。また、主張が真である場合、根拠文として主張に関連する箇所を議会議事録から抽出する。本手法を用いてFact Verificationタスクに結果を提出したところ、参加チーム中でトップの成績を達成した。

## 2 関連研究

現在、ファクトチェックの多くは信頼できるファクトチェック機関により人手で行われている。しかし、誤った情報や偽の情報は、正しい情報よりも拡散されやすいという性質がある。そのため、情報の真偽の検証には早さが求められている。

Hansenらは、フェイクニュースや都市伝説を対象とした自動ファクトチェックについて調査している [1]。真偽不明の主張に対して、Webを外部知識としてGoogle検索で根拠を取得し、古典的な機械学習モデルや事前学習モデルを用いてファクトチェックを行なっている。

また、Wikipediaをドメインとしたファクトチェックのワークショップ[2]も開催されている。このワー クショップでは、Wikipediaの記事に関する主張について、Wikipedia記事を根拠にファクトチェックを行う。結果として、事前学習モデルを用いたファクトチェックモデルが優れた結果を達成している。

## 3 提案手法

本研究では、パッセージ検索と含意関係認識を用いてファクトチェックを行う。まず、パッセージ検索により特定のパッセージを検索する。そして、主張と検索したパッセージを用いて含意関係認識を行う。主張が真である場合、議会議事録から根拠を抽出する。

## 3. 1 パッセージ検索

主張が真である場合、その主張は議事録の特定のトピックについて述べたものである。そのため、主張の真偽を判定するためには、そのトピックの箇所を議会議事録から特定する必要がある。

本研究では、検索するパッセージの単位をセグメント単位と文単位とする。セグメント単位では、まず、表1に示す正規表現を用いて、議会議事録の中でトピックが切り替わる箇所を特定する。具体的には、開始表現に該当する文と終了表現に該当する次の文をセグメントの開始文とする。その後、各セグメン卜に対して主張との類似度を計算し、最も類似度の高いセグメントをパッセージとする。この際、議会議事録上で連続するセグメントは結合したものもセグメントと呼び、セグメントの連続も検索対象とした。文単位では、議会議事録の各文に対して主張との類似度を計算し、類似度の上位 $\mathrm{n}$ 文をパッセージとする。

主張とパッセージの類似度検索における計算には、 BM25+を用いる方法と sentence-BERTによるembeddingのコサイン類似度を使う方法の2手法を試した。

BM25+[3]は、クエリを含む長い文書より、クエリを含まない短い文書の方がスコアが高くなるという BM25の問題点を解決したランキング関数である。 BM25+の式は以下のようになる。

$
\begin{aligned}
& \operatorname{score}(D, Q)=\sum_{i=1}^{n} I D F\left(q_{i}\right) \\
& \cdot\left[\frac{f\left(q_{i}, D\right) \cdot\left(k_{1}+1\right)}{f\left(q_{i}, D\right)+k_{1} \cdot\left(1-b+b \cdot \frac{|D|}{a v g d l}\right)}+\delta\right] \\
& \operatorname{IDF}\left(q_{i}\right)=\log \frac{N-n\left(q_{i}\right)+0.5}{n\left(q_{i}\right)+0.5}
\end{aligned}
$

sentence-BERT(以下、SBERT)は、事前学習済み BERTを文書ベクトル化用にファインチューニング

し、pooling層を追加したモデルである。

表 1 セグメンテーションに用いる正規表現

## 3. 2 含意関係認識

一般的な含意関係認識では、2文の間に含意関係が成立するかどうかを判定する。本研究では、主張が真であるならば、その主張で検索したパッセージは主張を含意すると仮定する。これにより、含意関係認識を用いて主張の真偽を判定することができる。

図1に本研究で提案するファクトチェックモデルを示す。まず、主張文を用いて、パッセージ検索により議会議事録から関連するパッセージを抽出する。 その後、主張とパッセージをセパレータで結合し、 ファインチューニングした日本語学習済みモデルで含意関係認識を行う。

日本語学習済みモデルには、BERT、RoBERTa、 BERT+biLSTMの3種類のモデルを用いる。BERT[5] は、Transformerをベースにしたエンコーダであり、事前学習としてMasked Language ModelとNext Sentence Predictionを学習している。RoBERTa[6]は、 BERTの派生モデルで、Next Sentence Predictionを学習しないなど改良を加え、性能向上を図ったモデルである。

図2に、BERT+biLSTMモデルを示す。BERTモデルとRoBERTaモデルでは、主張文とパッセージ全文のペアを入力する。それに対し、BERT+biLSTMモデルは、主張文とパッセージの1文ずつをぺアとし、全てのペアを1つずつ入力する。そして、全ての[CLS]の埋め込みをbiLSTM[7]に入力し真偽を判定する。

図 1 ファクトチェックモデル

図 2 BERT+biLSTMモデル

## 4 実験

提案手法の有効性を検証するため、以下の評価実験を行う。

## 4. 1 データセット

本実験では、NTCIR-16 QA Lab-PoliInfo-3 Fact Verificationタスクで配布されたDry Runの学習デー タを用いる。表2にデータセットのフォーマットと例を示す。このタスクでは、平成 23 年から平成 27 年の間に開催された東京都議会を対象としている。要約には、東京都議会により人手で作成された「都議会だより」を用いている。

データ数は 1,024 件であり、学習用、検証用、テスト用に7:1:2の割合で分割する。また、データの属性のうち、Date、Speaker、UtteranceSummaryのみ用いる。

表 2 データセットのサンプル

 \\

## 4. 2 共通設定

パッセージ検索における検索手法について、 BM25+では、 $k_{1}=1.2 、 b=0.75 、 \delta=1.0$ とする。 SBERTでは、Hugging Faceを用いて東北大学の乾研究室が公開しているBERT-base ${ }^{2}$ 利用する。 SBERTは、議会議事録から作成した115,750件の学習データでファインチューニングを行う。また、類似度の計算にはコサイン類似度を用いる。 パッセー ジ単位について、文単位では、予備実験より $\mathrm{n}=7$ とする。

含意関係認識モデルについて、BERT-baseモデルとBERT-largeモデルでは、東北大学の乾研究室が公開しているモデルを利用する。RoBERTa-base3モデルでは、rinnaが公開しているモデルを利用する。 これらのモデルは、820件の学習データで含意関係認識用にファインチューニングを行う。

主張が真である場合、根拠文の抽出を行う。具体的には、表1の正規表現で議会議事録をセグメントに分割し、主張文をクエリとしてBM25+で最も類似度の高いセグメントを抽出する。

## 4. 3 評価指標

評価指標は、recall、precesion、F值とする。以下に、主張が真の場合の評価指標の式を示す。主張文が偽の場合は、真偽判定の結果が正解ならrecallと precisionを1、不正解なら0とする。

recall

正解の根拠文の数

precision

予測した根拠文のうち正解した根拠文の数

予測した根拠文の数

## 4.4 パッセージ検索手法の比較実験

パッセージ検索手法において、各検索手法と各パッセージ単位の比較を行う。

## 4.4. 1 比較手法

検索手法は、BM25+とSBERT、パッセージ単位は、主張文との類似度上位1セグメントと類似度上位7文とする。含意関係認識モデルには、BERTbaseを用いる。

## 4.4. 2 結果

表3に実験結果を示す。結果より、検索手法は BM25+、パッセージは類似度上位7文を用いる手法が最も高いF值であることがわかった。

表 3 パッセージ検索の比較結果

} & recall & precision & $F$ \\

\cline { 2 - 6 } & 上位7文 & BERT-base & $\mathbf{0 . 9 0 4 8}$ & $\mathbf{0 . 9 3 3 6}$ & $\mathbf{0 . 9 0 8 0}$ \\

\cline { 2 - 6 } & 上位7文 & BERT-base & 0.8742 & 0.9021 & 0.8770 \\

$ ///huggingface.co/cl-tohoku

 }^{3} \mathrm{https}: / /$ huggingface.co/rinna

## 4. 5 含意関係認識モデルの比較実験

含意関係認識モデルについて比較を行う。

## 4.5. 1 比較手法

検索手法はBM25+、パッセージは類似度上位7文とする。含意関係認識モデルは、パッセージ全文を入力するモデルであるBERT-base、BERT-large、R -oBERTa-baseとする。パッセージの1文ずつ入力するモデルでは、BERT-baseモデルを用いて、[CLS]埋め込みを全て連結するBERT+biLSTM(連結)モデル、[CLS]埋め込みの平均を用いるBERT+biLSTM (平均)モデル、biLSTMを取り除き全結合層で分類を行うBERT+LSTMなしモデルとする。

ベースラインモデルとして、主張文の全ての名詞が、話者の発言に存在するかどうかで判定するルー ルベース手法を用いる。

## 4. 5.2 結果

表4に実験結果を示す。結果より、BERT-largeモデルが最もF值が高いことがわかった。ルールベース手法であるベースラインと比較して、 $\mathrm{F}$ 值で約 +0.18 を達成した。BERT-baseとRoBERTa-baseを比較すると、僅かにBERT-baseの方がF値が高い。これは、 RoBERTaではNext Sentence Predictionを学習していないのに対して、BERTでは学習しているためだと考えられる。

図3に、ルールベース手法では正解できなかった負例を示す。これらの例は、BERT-largeでは全て正解できている。主張文の名詞が話者の発言に全て存在する場合でも、BERTでは意味を捉えて分類できている。

表 4 含意関係認識モデルの比較結果

} & \multirow{2}{*}{ recall } & \multirow{2}{*}{ precision } & \multirow{2}{*}{ F } \\

$
\begin{aligned}
& \text { 地域連携クリティカルパスの活用促進や医療機関相互の連携体制を確保。 } \\
& \hline \text { 研修会等で支援センター活用を働きかける。支援策充実を働きかける。 } \\
& \hline \text { 東京都では昭和五十六年以前の旧耐震基準で建てられたマンションが多い。 } \\
& \text { 今回の会議で知事が検討する議論は、今、後行われる東京緊急対策二○一の一つにあたり、 } \\
& \text { 東京都のマンション耐震化促進については否定するものと考えられる。 }
\end{aligned}
$

図 3 ルールベース手法で不正解だった負例

## 5 おわりに

本研究では、議会議事録を対象として、パッセー ジ検索と含意関係認識を用いたファクトチェックの研究を行なった。結果として、BM25+で類似度上位 7文を検索し、BERT-largeモデルで含意関係認識を行うことで、ルールベース手法と比較してF値で約 +0.18の結果を達成した。

今後の課題として、ソーシャルメディアやニュー スなどのファクトチェックに適用できるかどうか調査していきたい。

## 謝辞

本研究は、JSPS科研費19K11980および18H01062の助成を受けた。

## 参考文献

[1] Casper Hansen, Christian Hansen, and Lucas Chaves Lima. 2021. Automatic Fake News Detection: Are Models Learning to Reason? Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Short Papers), pages 80-86.

[2] James Thorne, Andreas Vlachos, Christos Christodoulopoulos, and Arpit Mittal. 2018. FEVER: a large-scale dataset for fact extraction and verification. In Annual Conference of the North American Chapter of the Association for Computational Linguistics (NAACL-HLT), pages 809-819.

[3] Yuanhua Lv and ChengXiang Zhai. Lower-bounding term frequency normalization. In Proceedings of CIKM'2011, pages 7-16.

[4] Nils Reimers and Iryna Gurevych. 2019. sentenceBERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), pages 3982-3992.

[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of the 2019 Conference of the North American Chapter of the Association for

Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171-4186.

[6] Yinhan Liu, Myle Ott, Naman Golyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. 2019. Roberta: A robustly optimized BERT pretraining approach. CoRR, abs/1907.11692.

[7] Sepp Hochreiter and Jurgen Schmidhuber. 1997. Long short-term memory. Neural computation, 9(8):1735-1780.


# ツイート感情分析タスクにおける BERT を用いたデータ蒸留によるラベル偏りの改善

山城颯太 ${ }^{1}$ 山下達雄 ${ }^{1,2}$
${ }^{1}$ ヤフー株式会社 ${ }^{2}$ Yahoo! JAPAN 研究所
\{soyamash, tayamash $\}$ @yahoo-corp. jp

## 概要

Yahoo!リアルタイム検索iではユーザによって検索されたツイート群に対して感情の極性判定を行い, その統計結果を示す感情分析機能を提供している.本研究ではこの感情分析機能のシステム刷新に伴って発生したアノテーション済み学習データのラベル偏りの問題と, これに対して行った BERT を用いたデータ蒸留によるラベル偏り改善の取り組みについて報告する。

## 1 はじめに

ユーザによって生成されたコンテンツ（UGC）に対して感情の極性を判定することによって，すでに提供されているサービスの内容に新たな付加価値を提示し，よりユーザにサービスへの興味を持ってもらうことができると考えられる。

その具体的な事例の一つとして, Yahoo!リアルタイム検索がある. 本稿ではこの感情分析機能の刷新に伴って発生したアノテーション済み学習データのラベル偏りの問題と, それに対して行った BERT を用いたデータ蒸留の取り組みについて報告する.

## 1.1 リアルタイム検索と感情分析

Yahoo! リアルタイム検索はインターネットで広く使われている代表的な SNS である「Twitter」のツイートを対象として始まった検索サービスである。 2011 年 6 月にサービスが開始され, 現在も継続して運用されている.

検索以外に, その時々のバズトピックとそれに対する感情分析情報を提供する機能がある，バズトピックは，ツイートに含まれる，一定時間内に急激に頻度が増大したキーワード（トレンドワード）をべ一スに自動的にまとめられる。バズトピックに含まれるツイートの感情ラベルを集計した「感情の割合」 も提示される．感情ラベルは検索対象となるツイー トすべてに対し，感情分析機能により自動付与される（個別ツイートの感情ラベルは現在ユーザには提示されない)。

本稿では，置き換え対象（比較対象）である感情分析機能を「旧モデル」と呼ぶ。旧モデルは文献[1] のものが基本となっているが，正解ラベル付きツイ一トの使用量や細かなロジックなど若干の変更はある.

## 2 データセット

本研究で使用した正解ラベル付きツイートは，リアルタイム検索でトレンドワードとして選ばれた検索語を含むツイートから抽出し, それらに感情ラべル（ポジティブ・ネガティブ・ニュートラル）を 3 人のアノテータが付与したものである。作成時期とラベル決定方法の異なる 2 つのデータセットがある.
- データセット 1: 約 5 万件. ツイートの時期は 2013 年ごろ. アノテータ 3 人の付与したラベルが一致したツイートのみを用いる。主に学習データとして用いた.
- データセット 2: 約 800 件. ツイートの時期は 2020 年前半. 主に評価データとして用いた.

データセット 2 には約 50 のトレンドワードが含まれる。それぞれのトレンドワード（トピック）に対してアノテータがそのトレンドワードを含むツイ一トを見て感情ラベルを付与している。
^{i}$ https://search.yahoo.co.jp/realtime
}
判定数の分布

正解旧モデル新モデル

図 1 モデルごとの出力ラベル比率

## 3 ラベル偏りの問題

データセット 1 を学習データとし, ポジティブ・ ネガティブ・ニュートラルを出力する多クラス分類モデルを作成した。これを「新モデル」と呼ぶ. ここでは推論速度とメモリ使用量の観点からシンプルな形態素ベースの線形分類器を採用した。作成されたモデルでデータセット 2 の各ツイートにラベル付与し，精度評価を行ったところ，旧モデルと同等の精度を達成した. しかしその一方で, Recall 不足が確認された. この原因についての考察を以下に述べる.

## 3.1 モデルごとのラベル出カの偏り

図 1 にデータセット 2 のツイート群に対する旧モデルと新モデルの出力ラベルの比率を示す. 一番左の棒群は人手で付けられたアノテーションラベル （正解）であり，ここではポジティブ・ニュートラル・ネガティブの比率が大体等しくなるようツイー トが収集されたことがわかる.

中央の棒群は, 同じツイート集合に対する旧モデルの出力ラベルの比率を示している. 人手ラベルの分布と比べて少々ネガティブの出力数が多いが，比較的人手ラベルと似たラベル比率である．ただし， ここでは人手ラベルとの一致（正誤）は見ず，あくまで出力されたラベルの比率だけに着目していることに注意されたい。

一番右の棒群が新モデルの出力ラベル比率である.一目でわかるように, ニュートラルの出力数がずば抜けており，ツイート全体の約 $75 \%$ 占めている

（Recall 不足）。これは明らかに均等な出力とは言えない.

## 3.2 学習データのラベルの偏り

3.1 節で述べた問題が起きた理由を我々は精査し, その原因が今回使用した学習データにあるという仮説を立てた。

データセット 1 の約 5 万件のツイートに付けられた人手ラベルを改めて観察したところ, ポジティブ・ ニュートラル・ネガティブの比率が大体 1:5:1 になることがわかった. つまりモデルの側からしてみれば，与えられたツイートに対して無条件にニュートラルさえ出力しておけば，ツイート内容を考慮せずとも 5/7（約 71\%）の確率で正解できてしまうということになる.そのためモデルは自身の Accuracy を上げるために，出力すべきラベルの確信が持てないツイートに対してはニュートラルを比較的多く出力するようになる，実際，改めて図 1 を見直すと，新モデルの出力比率は 1:5:1 に近そうに見える。この偏りは，学習データ中のラベル出現比率を過学習してしまった結果だと言える.

## 3.3 アノテーションの難しさ

ではそもそもなぜ，今回の学習データはそのような偏りの大きいラベル比率（imbalanced data） になってしまっているのか. もちろん, Twitter 中の真のラベル比率自体が偏りを抱えていることも原因の一つであると考えられる。 しかし今回使用している学習データは真のラベル比率以上の偏りを抱えているように見受けられた。 そしてその大元をたどれば， ツイートの印象を推定するというタスクそのものの難しさに原因があると言える。

たとえば，「今日のお昼はカレーだった。大盛り無料で嬉しかった。だけど最後まで食べきれず残念 …‥というツイートのラベルは何かを考える。一文目だけなら出来事を報告しているだけなのでニュ ートラル．二文目も含めて読むなら「嬉しかった」 と言明しているのでポジティブ. しかし三文目まで着目すると「残念」と言明しているのでネガティブ. このように，一つのツイート中にさまざまな印象が入り乱れている.ここに挙げたツイートは作例だが， これと同様に Twitter には皮肉や自虐など判定の難しいツイートが多く含まれている。また絵文字や感嘆符など，その包含によってツイートの印象が大きく変わる文字も多く出現する.

この難しさは人手で正解ラベルを付ける場面にも直接影響している。今回は学習データとしてデータセット 1 の約 5 万件のツイートを用いていたが，これはもともと約 25 万件のツイートそれぞれに 3 人の人間によって正解ラベルが付けられたのち, 3 人とも同じラベルを選んだツイートのみを集めたものである。 つまり残りの約 20 万ツイートについては, 3 人の付けたラベルが完全一致しなかったということである.

その結果, 集められた約 5 万件のツイートについては,『複数人の人手ラベルが一致しやすいデータ』 というサンプル選択の偏り（sample selection bias）が掛かっていると考えられる。その偏りが，このデー 夕を用いて学習させたモデルの予測結果において，出力ラベルの極端な比率として現れたのだと考えられる。

## 4 対処手法

3 節で述べた問題に対して，我々は BERT を用いたデータ蒸留によるオーバーサンプリングを行うことで対処した. BERT とは Transformer ベースの事前学習済み言語モデルであり, 目的タスクに応じて追加で fine-tuning を行う手法である [2]. これを用いた我々の対処手法の詳細を以下に報告する。

## 4. 1 オーパーサンプリング

偏りの大きいラベル比率（imbalanced data）に対するシンプルな手法としてはオーバーサンプリングが考えられる.これは比較的量が少ないラベル (今回の例で言えばポジティブとネガティブ）のデータを改めて収集・追加することで，学習データ中のラベル比率を調整する手法である.

しかし，ここでデータを追加するということはすなわち, 新たに集めたツイートに対して追加で人手ラベルを付与する必要があるということである. 数万件のラベル付けとなればその人手コストは無視できないほど甚大なものになる.

## 4. 2 BERT を用いたデータ蒸留

そこで我々は，BERT を使用することで，このラベル付け作業を自動化した. 我々が BERTを用いた手順は以下のようになる.

（1）まず，手元にある約 5 万件のデータを用いて BERT を学習させる。（2）次に，新たに収集したツイート約 200 万件に対して BERTによる推論を行い，

図 2 データ追加後の出カラベル比率

ここで付与されたラベルを擬似的な正解ラベルと見なす.（3）それから，BERTによって付けられたラベルがポジティブ・ネガティブであるツイートをそれぞれ数千数万件ずつ集め, もともとの約 5 万件の学習データに追加する。（4）最後に，この新たな学習データを用いて我々のモデルを学習させる.

この一連の手順（この手法はデータ蒸留[3] と呼ばれている）を踏むことで，我々の新モデルはもともとの学習データに含まれていたラベル偏りの影響を大幅に軽減することができた.

## 5 比較評価

## 5.1 出カラベルの比率の改善

実際にどれほど出力ラベルの比率が改善されたかを図 2 に示す.

一番左の棒群は，ランダムにサンプリングした 1,000 ツイートに対する置き換え対象のモデル (旧モデル) の出力ラベルの比率を示している. 左から二番目の棒群は，同じツイート集合に対する何も手を加えていない今回新たに作成したモデル (新モデル) の出力ラベルの比率を示している. 右から二番目の棒群は新モデルの学習データにポジティブと判定されたツイートを 4,000 件，ネガティブと判定されたツイートを 4,000 件追加した時の出力ラベルの比率を示している。一番右の棒群は新モデルの学習デー タにポジティブと判定されたツイートを 60,000 件, ネガティブと判定されたツイートを 15,000 件追加した時の出力ラベルの比率を示している。学習デー タにおけるポジティブ・ネガティブツイートの量を増やせば増やすほど，よりニュートラルの出力が減り，代わりにポジティブ・ネガティブの出力が増えていることがわかる. この出力ラベル比率の改善は最終的な精度の改善に直結するものと考えられる。

## 5.2 自動評価の限界

では実際のところ，どれほどの擬似ラベル付きデ一タを追加すればいいのか。一つの案として，学習データの一部をあらかじめテストデータとして確保しておき，このデータに対する自動評価スコアが最大になるような追加量を求めることが考えられる. しかし，おそらくこの部分データ自体もラベル偏りを含んでいるため，必ずしも正確な評価ができるとは限らない. 理想的には, Twitter 中の真のラベル比率をどうにか観測し，これと一致するように訓練デ一タの比率を調整したい。しかし，そもそもツイー 卜に対して付けられる人手ラベル自体がほとんど一致しないため, 真のラベル比率はどうしようとも正確に観測できるものではないと考えられる.

## 5.3 人手モデル選択・トピック単位評価

そこで我々は人手での評価に基づいてこのデータ追加量を決めた. 具体的には $1,000 \sim 5,000$ 件刻みでデータ量を変化させたモデルを約 60 種類用意した. このらち最も人間の感覚と近い出力ができていそうなモデルを 5 種類選出し, これらを用いて最終的な決定のためにトピック単位の比較評価を行った.

各モデル出力の評価にはデータセット 2 のトピック単位の正解ラベルを用いた。これはサービスの利用実態に近い形にするためである. ツイートごとに自動付与された感情ラベルをトピックごとに集計し，一番頻度が高いものをそのトピックの感情ラベルとし，これをトピックの正解ラベルと比較することで精度を出した. 表 1 に今回のいくつかのバリエーションと旧モデルによるトピック単位の Accuracy を挙げる. 最終的には，ポジティブ (P) 60,000 件, 二ユートラル (O）2,000 件, ネガティブ（N）45,000 件のデータ追加を行った新モデルを採用した。

## 6 おわりに

本稿では Yahoo! リアルタイム検索の一機能である感情分析機能の刷新に伴って発生したアノテーシヨン済み学習データのラベル偏りの問題と, それに対して行ったオーバーサンプリングの取り組み，その評価に際して行った人手でのラベル比率の調整, トピック単位評価について報告した.表 1 トピック単位の評価結果

本稿で示された手法は，BERT を教師モデルとするデータ蒸留によって, 従来のオーバーサンプリングに必要とされる人手アノテーションのコストを大幅に下げ，かつ柔軟なラベル比率の調整を可能としたものである.

今回報告した範囲では，あくまで簡易な比較評価のみを行っており，より高性能なモデルとの比較や詳細な評価・分析はまだ十分に行えていない. しかし，実際にサービスに提供した範囲では，旧モデルと比べて遜色ない Precision・Recall・速度を示しており，もとの目的であったモデル刷新の観点では十分な性能を示している.

## 参考文献

1. ヤフージャパンのリアルタイム検索における感情分析. 野畑周, 内藤弘朗, 清水徹. 第 5 回テキストマイニング・シンポジウム, 2014.

2. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT, 2019, pp. 4171-4186.

3. Ilija Radosavovic, Piotr Dollár, Ross Girshick, Georgia Gkioxari, and Kaiming He. Data Distillation: Towards Omni-Supervised Learning. In Proceedings of CVPR, 2018, pp. 4119-4128.


# 階層化された論文情報とユーザ発話の埋め込みに基づく 論文推薦システム

奥田由佳 1 須藤 克仁 ${ }^{1,2}$ 品川政太朗 1,2 中村 哲 1,2
1 奈良先端科学技術大学院大学
2 理化学研究所革新知能統合研究センター
\{okuda. yuka.ou0, sudoh, sei . shinagawa,s-nakamura\}@is.naist.jp

## 概要

初学者はユーザの検索意図が曖昧かつ専門知識を持たないため，既存の検索・推薦システムには適さない，そこで，階層化された論文情報とユーザ発話の2つをべクトル化することにより，効率的にユー ザの検索意図を明確化し論文を推薦するシステムを提案する．将来的には対話システムの構築を目標とし，本研究はその土台となる。

## 1 はじめに

初学者を対象に論文を推薦する場合，広く流通している検索・推薦システムでの推薦は難しい。なぜなら，既存のシステムではユーザの検索履歴を必要とすることが多いが，初学者は検索履歴を持つことが困難だからである [1][2]. この問題へのアプロー チとして，ユーザの情報を都度取得するインタラクティブなシステムを用いる手法 [3][4][5] がある．映画の推薦タスク [6][7] では，対話データで機械学習モデルを訓練し自然な会話の中でアイテムの推薦を行う手法 (Conversational Recommender System ; CRS) が提案されている. これらの研究は対話データを必要とする研究だが，論文の推薦においては公開済の対話データが存在しない．また，論文の推薦にはスキルが必要とされるため，対話データの構築もコストが高くこの手法は現状適用が難しい.

対話データを必要としない研究は，推薦アイテム同士の関係性に基づきインタラクティブに検索意図を絞り込む手法 [8][9] がある。しかし，この手法は，複数の興味を取得することを考慮していないため「興味の取りこぼし問題」が発生する恐れがある.これは，ユーザが検索意図が曖昧な状態で複数の分野に興味を持っていた場合，ユーザの興味をシステムが無視してしまうことを指す. 例を図 1 に示

図 1 提案手法を用いたノード間の移動

す. 第 1 階層の各セルは論文に対応するノードを表し，第 2 階層の各セルは第 1 階層の論文に紐づく分野を表す。点線の矢印は，アイテム同士の関係性に基づきインタラクティブに検索意図を絞り込む従来の手法を示し，黒い矢印は提案手法を示す. 例えば，ユーザの興味が図 1 中の赤色が付いた「小説生成」と「ペルソナ対話システム」だった場合，最初に「言語生成」を選択すると「小説生成」か「俳句生成」しか推薦できず「ペルソナ対話システム」の興味を無視してしまう．全ノードを確認することでこの問題は解決できるが，ユーザに多大な時間を使うことを強いる．そこで，アイテムの階層的知識をベクトル化し階層を跨いだノード間の移動を可能にすることで，効率的なノードの移動を可能にし興味の取りこぼしを起こしにくい手法を提案する。

## 2 関連研究

推薦システムの代表的な手法に協調フィルタリング [1][10] がある．しかし，協調フィルタリングはユーザの検索履歴を必要とし，検索履歷をもたない初学者には適さない. 対して検索履歴を必要とせずユーザの情報をインタラクティブに都度取得する研究は, CRS [6][7], Conversational Search [5], Interactive Information retrieval (IIR) [3][4] などがある.

CRS に関する研究では, Chen らがアイテムの情報やアイテム同士の関係を考慮したシステムを提案している [6]. この研究では，アイテムの関係性と
対話の戦略を相互利用できるように教師あり学習によってモデルを構築する. しかし, 階層的関係性や検索意図の明確化に着目したものではなく，これらに関する知見は明らかになっていない。 また，学習に対話データを必要とし, 対話データの取得が困難である論文を対象にした推薦システムには現状適応できない.

検索意図の明確化に関する研究には鈴木らの研究 [8] がある. この研究ではアブストラクトに含まれる単語の共起性を用いたクラスタリングと選択型の質問を用いて，各論文に対するユーザの興味度であるスコアを計算している。しかし，複数分野に跨る興味の取得を目的にしたモデルにはなっておらず，興味の取りこぼしを起こす恐れがある。また，論文をユーザに複数提示しその選択結果を使用するが，初学者には論文は理解しにくく，選択の判断が難しいという懸念点がある.

## 3 提案手法

## 3.1 提案システムの概要

「興味の取りこぼし問題」を解決するための提案手法の仮説を述べる. 提案手法では，構造的知識において階層を親から子へと下がっていくことを基本としながら，子から親ノードへの上方向への移動や違う根を持つノードへの移動など，あるノードから全ノードへの効率的な移動を可能にすることで 「興味の取りこぼし問題」が解決できると仮説を立てた. 例えば図 1 の場合，黒矢印のように，「小説生成」から「対話システム」や「ペルソナ対話システム」へ移動が可能ならば取りこぼしは解決できる. あるノードから全ノードへの移動を可能にするために，ユーザからのフィードバックと，階層的知識の各ノードの表現の仕方に工夫を加えた. ユーザのフィードバックについて，既存の研究では鈴木ら [8] のように提示した選択肢に対するユーザの選択結果を使用する研究が多い. 対して, 提案手法では，ユーザのフィードバックを発話の形で得ることで，より広いユーザの興味を取得可能にする. そして, ユーザ発話と階層的知識の各ノードをべクトル化することで，階層を跨いだノード間の移動を可能にし，興味の取りこぼしを起こしにくくする。提案手法を用いた具体的な対話例を図 2 に示し，また具体的な手順を以下に記す。

図 2 提案手法を用いた具体的な対話例

1. 前処理として，与えられた階層的知識の各ノー ドをベクトルで表現する.

2. ユーザに対して複数キーワードを提示し，ユー ザの選択したキーワードを得る.

3. キーワードを選択した理由を問い，ユーザ発話取得する。このとき，取得した発話もべクトル化する.

4. ベクトル化したユーザ発話と, ベクトル化した各ノードで構成された階層的知識を照らし合せて，各ノードのスコアの計算を行う.

5. スコアの計算結果をもとに，ユーザに最適な論文を推薦する.

6. 手順 2 から 5 で 1ターンとみなし, 繰り返すことでユーザの意図を明確化する。

以降では, 前処理の階層的知識の作成と提案手法の詳細を述べる。

## 3.2 前処理：階層的知識の作成

階層的知識の作成について説明する。まず，事前に図 3 のような階層的な知識が与えられるとする.第 2 階層のノードを図 3 の「言語生成」のような研究分野に対応させ，第 1 階層を「深層学習を用いた俳句の自動生成」のような論文のタイトルに対応させる.この事前に与えられた階層的知識の各ノードをそれぞれべクトル化する．各ノードのベクトル化には，ニューラルネットワークで単語のベクトルを学習する word2vec[11]を用いる. まず，第 1 階層の各ノードをべクトル化する手法を述べる．各論文のアブストラクトから，動詞・名詞・形容詞を特徴語として抽出し，学習済みの word2 vect用いて論文ごとに特徴語のべクトルの平均を取る．これを，第

1 階層のベクトルとする. 第 2 階層のノードについては，対象のノードに紐づく第 1 階層のノードのべクトルに対する平均をとる．例えば，図 3 で表せられるように，第 2 階層の「言語生成」のノードのべクトルは，第 1 階層の「小説生成」と「俳句生成」 のベクトルの平均になる.

図 3 階層的知識のベクトル化

## 3.3 論文の推薦機構

どの論文を推薦すべきか判断する基準であるスコアの計算方法と，スコアを元にしたキーワード生成と，スコアの更新について述べる.

## 3.3.1 スコアの計算および更新

ユーザ発話とベクトル化した階層構造を用いてスコアの計算を行う。まず，ユーザ発話のベクトルを得る. ユーザ発話の埋め込みは， 3.2 節に示したアブストラクトから論文の埋め込みを得る方法と同一の処理によって得る. 得られた発話べクトルと階層的知識の各ノードとの cosineをとり，その値をスコアとした。スコアを算出する式 1 に示す.

$
\text { score }_{x}=\frac{x \cdot y}{\|x\|\|y\|}
$

このとき，score $x$ はノード $x$ のスコアを示し， $x$ は各ノードを， $y$ はユーザ発話をべクトル化したものを示す，最終的に，ノードごとに 1 つのスコアが割り当てられる. また，スコアの更新は各ノードで加算し，前ターンの情報を引き継ぐ。

## 3.3.2 キーワード生成

キーワード生成について説明する. 3.3 .1 節で算出したスコアを用いて，スコアが高い上位 3 つのノードを選択した後，各ノードに関連するキーワー ドをユーザに提示する. このとき，初学者が理解できるようなキーワードを提示するのが望ましいが，今回は階層を跨ぐノード間の移動が有益かどうかの確認が目的であるため主検討事項としなかった。第 2 階層のノードが選択された場合はセッション名を，第 1 階層から選ばれた場合は論文のタイトルをキーワードとしてユーザに提示した. また，1ター ン目のキーワードは階層的知識の最上階層のノードに対応する. 今回のモデルでは最上階層は第 3 階層であり，第 2 階層の研究分野をまとめたさらに抽象的な分野を表す. 例えば図 1 ならば，1 ターン目のキーワードは「自然言語処理」のみとなりキーワー ドの選択が一意に決定し，システムの発話は「あなたが自然言語処理に興味がある理由を教えて下さい」になる. システムはキーワードの提示からユー ザ発話の取得までを複数ターン繰り返すことで，曖昧な検索意図を明確化する。

## 4 実験

## 4.1 実験設定

提案システムの階層を跨いてノード移動を行う手法の有効性を検証するため，シミュレーション実験を行った。

データセット：ACL の 2020 年度の年次カンファレンスのプログラムである “Annual Meeting of the Association for Computational Linguistics (2020)(ACL2020)”を用いた. プログラムに記載されているセッション名を第 2 階層の各ノードに対応させ，論文のタイトルを第 1 階層の各ノードに対応させた. 第 2 階層のノード数は 23 , 第 1 階層のノード数は 68 となった。また，スコアの計算に利用する word2vec では，事前学習済みモデルである GoogleNews-vectors-negative301)を利用した。

仮想ユーザと比較モデル： 実験のシナリオとして潜在的に 3 つの論文に興味を持つユーザ（仮想ユーザ）を事前に 3 人分設定した。このとき 3 つの論文はランダムに決定した. 各仮想ユーザは初学者であると想定し専門的な用語を使用せず，各ユーザに設定された興味に従って著者が図 2 のようなユーザ発話を入れてシステムと 5 ターン対話した。

提案システムの階層を跨いてノード移動を行う手法の有効性を測るため，比較するシステム (ベースライン）として階層を跨ぐ機能を無効にしたシステムを用意した. ベースラインは図 2 の点線矢印のあるノードから属する子ノード

にしか移動できない挙動をする、スコアの計算は提案手法と同一であり，スコアの計算を行うノードの範囲はシステムが遷移可能なノードのみに対して行った。よって，次ノードの選択のみにスコアの計算を使用するため，スコアの更新は行なっていない. 属する子ノードが無くなった地点で，一番初めの分岐点に戻り最初に選択したノードの次にスコアの高いノードを選択する。キーワード生成としては，属するノー ドが 3 個以下の場合はそのままの個数でユーザに提示し， 3 個を超える場合はランダムに 3 つ選択して提示した。

評価指標： 事前に仮想ユーザに設定した 3 つの論文に対し，システムがどのような順位づけをしたか把握するために評価指標を導入する。評価指標として, Average Precision (AP) や RR (Reciprocal Rank) も検討したが，今回は正解アイテムを推薦できたかの精度評価が目的ではないため，独自の以下評価スコアを導入した.

$
\text { 評価スコア }=\frac{\text { 論文の昇順順位 }}{\text { 論文の総数 }}
$

評価スコアは，論文ごとに算出されたスコアに基づく順位を総数で割った数であり，対象とする論文が上位何\%にあたるかを表す。スコアが低いほど，ユーザが他の論文に比べてその論文に興味を持っていることを表す. 論文の総数については全ターンの中で遷移可能だった第 1 階層のノードの総数を指す。提案手法はすべてのノードに遷移可能なため，一貫して第 1 階層のノードの総数の 68 となる. 論文の昇順順位もこの論文の総数の中で決定する。

## 4.2 実験結果・考察

評価指標による実験結果を表 1 に示す. 表 1 中の論文 1 ，論文 2 ，論文 3 はランダムに設定した仮想ユーザが興味を持つ 3 つの論文を指し，横線が表示された箇所はシステムがスコアを取得できず，興味の取りこぼしを起こしていることを示す.

## 4.2.1 スコアの計算の妥当性

表 1 の結果から，提案手法の仮想ユーザ A の論文 1 や論文 3 など設定した 3 つの論文に対してユーザの興味が強いことを取得できている箇所が散見されることから，ユーザ発話によるスコアの計算の妥当性が示唆された。また，今回の実験では初学者を想表 1 評価指標による比較

定しユーザ発話に専門的用語などを含めていないため，ユーザが専門知識を持たなくともシステムは有効なスコアの計算を行えることが示唆された.

## 4.2.2 取りこぼし問題が解決できたか

表 1 の結果から，前提としていた「取りこぼし問題」がベースラインでは発生し，提案システムでは発生せずスコアを取得できていることから提案システムの有効性が示唆された. また，ユーザ A とユー ザ B の論文 3 に着目すると，べースラインはユー ザの興味を取得できていないが，提案システムではユーザの強い興味を取れている。このことから，提案システムではユーザの大きな興味の取りこぼしを防げることが示唆される. しかし, 仮想ユーザが興味があると仮定した論文すべてにおいて提案システムが強い興味を把握できるとは限らないことがわかった. また，ユーザ $\mathrm{A}$ の論文 1 やユーザ $\mathrm{C}$ の論文 3 のスコアに着目すると, ベースラインの方がユーザの興味が強いことを判断できていることがわかる.このことから，ベースラインの方が興味の取りこぼしは起こしやすいが，確実に一つの分野に関しての興味が把握できると考えられる．以上の考察から，複数の興味をより効率的に取得するため，階層を跨ぐ挙動に加えノード移動の仕方により工夫が必要であると考えられる。

## 5 おわりに

本研究では，「興味の取りこぼし問題」に対して，階層的知識をべクトル化し階層を跨いだノード間の移動を可能にすることで解決する手法を提案し，その有用性を検討した．結果として，期待した通りに提案手法は曖昧な検索意図を明確化しつつ取りこぼし問題に対して有効であることが示唆された. 今後の展開としては，本研究で得られた知見をもとに論文推薦の対話システムの構築を行い，最終的には主観評価などを行う予定である.

## 参考文献

[1] Joeran Beel, Bela Gipp, Stefan Langer, and Corinna Breitinger. Research-paper recommender systems: a literature survey. International Journal on Digital Libraries, Vol. 17, No. 4, pp. 305-338, 2016.

[2] Jyotirmoy Gope and Sanjay Kumar Jain. A survey on solving cold start problem in recommender systems. In 2017 International Conference on Computing, Communication and Automation, 2017.

[3] Hung-Yi Lee, Pei-Hung Chung, Yen-Chen Wu, TzuHsiang Lin, and Tsung-Hsien Wen. Interactive spoken content retrieval by deep reinforcement learning. IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 26, No. 12, pp. 2447-2459, 2018.

[4] David Robins. Interactive information retrieval: Context and basic notions. Informing Science The International Journal of an Emerging Transdiscipline, Vol. 3, No. 2, Jan 2000.

[5] Corby Rosset, Chenyan Xiong, Xia Song, Daniel Campos, Nick Craswell, Saurabh Tiwary, and Paul Bennett. Leading conversational search by suggesting useful questions. In The Web Conference 2020, 2020

[6] Qibin Chen, Junyang Lin, Yichang Zhang, Ming Ding, Yukuo Cen, Hongxia Yang, and Jie Tang. Towards knowledge-based recommender dialog system. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, 2019.

[7] Raymond Li, Samira Kahou, Hannes Schulz, Vincent Michalski, Laurent Charlin, and Chris Pal. Towards deep conversational recommendations. In Proceedings of the 32nd International Conference on Neural Information Processing Systems, 2018

[8] 鈴木亮詞, 工藤聖広, 辻野友孝, 清水堅, 白松俊, 大直忠親, 新谷虎松. 論文リポジトリに基づく研究支援のための対話的ユーザモデル構築手法の提案. 全国大会講演論文集, 第 72 回, 人工知能と認知科学, pp. 741-742, Mar 2010.

[9] Yi-Cheng Pan, Hung-Yi Lee, and Lin-Shan Lee. Interactive spoken document retrieval with suggested key terms ranked by a markov decision process. IEEE Transactions on Audio, Speech, and Language Processing, Vol. 20, No. 2, pp. 632-645, Feb 2012.

[10] Xiangnan He, Lizi Liao, Hanwang Zhang, Liqiang Nie, $\mathrm{Xia} \mathrm{Hu}$, and Tat-Seng Chua. Neural collaborative filtering. In Proceedings of the 26th International Conference on World Wide Web, 2017.

[11] Tomás Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. In Yoshua Bengio and Yann LeCun, editors, 1st International Conference on Learning Representations, Workshop Track Proceedings, 2013.

## 付録

## A仮想ユーザに事前に設定した 3 つの論文

4 節で行ったシミュレーション実験の，仮想ユー ザに事前にランダムに設定した 3 つの論文を表 A に示す.

表 A 仮想ユーザが興味を持っていると仮定した 3 つの論文

 & 興味のある論文のタイトル \\

## B 対話履歴の例

## 4 節で行なったシミュレーション実験の対話履歴 を例として図 B に示す. pinakes がシステムを指し， user がユーザを示す. 例として取り上げたのは 4 節 の仮想ユーザ A に対する提案手法での対話例であ る.
: Automating Frame Analyses to Identify Bias by Word Choice and Labeling,

2: Discourse and Pragmatics,

3: What determines the order of adjectives in $\{E\}$ nglish? Comparing efficiency-based theories using dependency treebanks

(user) 1

(3) pinakes:) Please tell me the reason you chose.

(user )I'm curious about how people's everyday writing changes with or without emotional bias.
}

(6) pinakes :) Please select the keyword you are interested

1: Media Bias the Social Sciences and \{NLP\}: Automating Frame Analyses to Identify Bias by Word Choice and Labeling

2: What Was Written vs. Who Read It: News Media Profiling Using Text Analysis and Social Media Context,

3: Cognitive Modeling and Psycholinguistics

(user)2

(6) pinakes:) Please tell me the reason you chose

(user )l am interested in sentiment analysis contained in SNS. Also, I would like to analyze emotions not only from SNS but also from texts of books such as literature.

(3) pinakes:) Please select the keyword you are interested in from the bottom 1: Media Bias the Social Sciences and \{NLP\}: Automating Frame Analyses to Identify Bias by Word Choice and Labeling

2: What Was Written vs. Who Read It: News Media Profiling Using Text Analysis and Social Media Context

3: Cognitive Modeling and Psycholinguistics

(user) 3

(3) pinakes:) Please tell me the reason you chose (user)By the way, I'm also interested in psychology.

(6) pinakes :) Please select the keyword you are interested in from the bottom 1: What Was Written vs. Who Read It: News Media Profiling Using Text Analysis and Social Media Context,

2: Media Bias the Social Sciences and \{NLP\}: Automating Frame Analyses to Identify Bias by Word Choice and Labeling,

3: Cognitive Modeling and Psycholinguistics

(user) 3

(c) pinakes:) Please tell me the reason you chose

(user )Well, more specifically, I'm interested in emotions, psychology and language. I especially like books, and I'm interested in analyzing emotions from the text of books and how they affect the human mind.

図 B 仮想ユーザ A の提案手法での対話例


# 「フェイクニュース」の理解に向けて: アノテーションスキームの提案と日本語データセット構築

村山太一* 久田祥平 * 上原誠 若宮翔子荒牧英治
奈良先端科学技術大学院大学
}

\{murayama.taichi.mk1, s-hisada, uehara.makoto.ug2, wakamiya, aramaki\}@is.naist.jp
## 概要

社会問題となっているフェイクニュースに対して，検出タスクやデータセット構築などの研究が取り組まれている。これらの既存研究はそのニュースが正しいかどうかの事実性ばかり着目する. しかし，複雑な現象であるフェイクニュースを理解するためには，事実性の側面だけでなく，発信者の意図や社会への有害度合い，ニュースの種類など，様々な観点から捉えることが重要である。本研究では， フェイクニュースの様々な側面を捉える，きめ細かなラベリングを行う新しいアノテーションスキームを提案する。そして，このアノテーションスキームに基づいた初めての日本語フェイクニュースデー タセットを構築し, https://hkefka385.github.io/ dataset/fakenews-japanese/で公開している.

## 1 はじめに

ネット上の情報の信頼性を貶める「フェイクニュース」に対して，研究者はフェイクニュー ス検出タスクに取り組んだり，リソースとして FakeNewsNet [1] や CoAID [2] などのフェイクニュー スデータセットを構築している。これらの既存の研究やデータセット構築では，そのニュースが正しいかどうかといったニュースの事実性の側面に着目している。しかし，事実性のラベルだけで，フェイクニュースやそれによって引き起こされる現象を十分に理解することは困難である。フェイクニュースをより理解するためには，発信者の意図や社会への有害性などの様々な視点から，フェイクニュースを捉えることが重要である.

本研究では，「フェイクニュース」の定義や既存のフェイクニュース検出データセットを調査した結果得られた課題を踏まえ，フェイクニュースを様々

図 1: アノテーション例: 発信源は党首討論の動画をのせたもので，ファクトチェック記事ではこの動画は討論の一部を切り取ったもので野党党首の印象を悪くしていると指摘する。

な観点で捉えるためのアノテーションスキームを提案する. 具体的には，ニュースの 1. 事実性，2. 発信者の意図，3. 対象，4. 対象の扱い，5. 目的，6. 社会への有害度，7. 有害性の種類という 7 つの観点でこのスキームは構成される。この詳細なアノテー ションは，「発信者がそのニュースを嘘だと知っているかどうかで，返信がどのように変わるのか？」 など，フェイクニュースという複雑な現象の深い理解に繋がる. さらに，提案したアノテーションスキームに従って, 日本語のフェイクニュースデータセットを構築する（例：図 1）。これは日本語で構築された初めてのデータセットであり，日本のフェイクニュースの理解や研究に有用である. 今後, 日本語以外の言語においても，提案したアノテーションスキームに従ってデータセットを構築し，国家間におけるフェイクニュースの性質の比較などを通して，フェイクニュースをより多角的な視点で分析していく予定である.

## 2 予備的調査

## 2.1 「フェイクニュース」の定義

情報科学の研究において，フェイクニュースには広義と狭義の定義が用いられる. 広義の定義は, "fake news is fabricated information that mimics news media content in form but not in organizational process or intent. [3, 4]” である. この定義は，情報の真偽を重視し発信者の意図を考慮しないもので，風刺やパロディなどの種類のニュースもカバーするものである. しかし，この定義を採用した研究は多くない $[5,6,7]$. 一方, 狭義の定義は, “a news article that is intentionally and verifiably false. $[8,9]$ ” というもので，発信者の意図を重視する。この定義を採用する研究は多い $[10,11,12]$ が，多くのデータセットは， ニュースの真偽に関するファクトチェック機関の判定のみをラベルとして構築されている.

このようなフェイクニュースという言葉の曖昧性に対して批判の声が上がっている. 例えば，イギリス政府はフェイクニュースという言葉の曖昧性から公式文書には使用しないことを決定した [13]. また，ネット上における誤った情報の対抗に向けたプロジェクトである First Draft のリー ダーの Claire Wardle 氏は，フェイクニュースという言葉は情報の信頼性の問題を十分に説明できないとし, Misinformation, Disinformation, Malinformation の 3 つの観点で説明すべきと述べている [14]. このように，フェイクニュースの概念は曖昧であるため，そのニュースはフェイクかどうかではなく，様々な観点から説明していくことが重要である.

## 2.2 フェイクニュース検出データセットの 課題

ニュースの真偽を評価するフェイクニュース検出タスクのために，数多くのデータセットが構築されている. 本節では，51のフェイクニュース検出デー タセット1)を検証し，解決すべき 4 つの課題を示す.

意図 2.1 節で説明したように，ほとんどのデータセットは狭義の定義を採用しているにも関わらず，各ニュースの事実性に着目したラベルのみ持って広義の定義に基づいて構築されている. これは，技術開発における定義と言葉の定義の間に乘離があることを意味する。また，意図を持って作成されたニュースは社会的影響力が高く，誤ったニュースが広まる一要因となってい
 fakenews-japanese/\#surveylist に示す.
る [15].このような背景や，説明可能性の高い検出モデルを構築するためにも，発信者の意図をアノテーションすることが重要である.

社会への有害性フェイクニュースは社会に悪影響を与えるが，その規模や種類は様々である．例えば，パロディなどの明らかに嘘であるニュー スは社会への害は少ないが，選挙に関する誤ったニュースは人々の意思決定に影響を与え，有害性が大きい，既存のデータセットではこの観点をカバーできていないが，これはファクトチェックの優先度の判断にも有用である.

言語フェイクニュースの言語的特徴や拡散パター ンは国や言語によって異なる可能性があるにも関わらず，ほとんどのデータセットは米国社会のイベントを対象とし英語で構成されている。一方で，COVID-19の世界的な Infodemic の影響から，英語以外のフェイクニュース検出データセットが増加してる。具体的には， 51 件中，英語以外の言語を含むものは 11 件で，そのうち 8 件が COVID-19 に関するものであった. COVID-19 以外の様々なトピックを対象とした英語以外のデータセットを構築していくことは，言語横断的な分析や言語に依存しない特性の特定が期待できる.

ラベル機械学習モデルの適用の容易さから, 51 件中 33 件のデータセットには，フェイクかどうかの二値ラベルが付与されている。 その他のものは，ファクトチェック組織の評価に基づいて構築されており，データセットごとに分類基準が異なり，利用しづらい。「意図」と「社会への有害性」も関連するが，より一般的で頑健な検出モデルを構築するためにも， fine-grained で一貫したアノテーションスキームが必要である.

## 3 アノテーションスキーム

上記の議論や得られた洞察に基づき，7つの質問からなるフェイクニュースのためのアノテーションスキームを構築した. Q1-Q5 は細かなラベルを付与することを目的とした質問で，「意図」と「ラべル」の課題をカバーするものである. Q6 と Q7 では，COVID-Alam [16] を参考に，社会への有害性の特定を試みている．我々のアノテーションスキームは，ファクトチェック組織の評価に依存しないラべリングが可能となり，解釈性の高い検出モデルの構築が期待できる。ファクトチェック記事や発信源と

なったソーシャルメディアの投稿に基づき，これら 7つの質問にアノテーターが回答する.

Q1: ファクトチェックサイトはニュースに何のラベルを付与しているか？

この質問は，ファクトチェックサイトが付与したラベルである「正確」や「虚偽」などの情報を記載する.「正確」または「ほぼ正確」のラベルが付与された場合，以下全ての質問をスキップする。

Q2-1: 発信者はそのニュースが虽りであることを知っていたか?

選択肢: 1. はい, 発信者は確実に誤りと知っている, 2. はい，発信者はおそらく誤りと知っている，3.いいえ，発信者はおそらく誤りと知らない，4. いいえ, 発信者は確実に誤りと知らない

この質問は, 課題の一つである「意図」に対応する質問で，4つの選択肢から 1 つ選択する. 1. または 2. が選択された場合，既存研究 [3] に基づきそのニュースを「Disinformation」とみなす．3．または 4. が選択された場合，発信者は誤ったニュースを流す意図が無いことを意味するため，「Misinformation」 とみなす.このような意図のラベリングは，「どのようなニュースを誤りと知らずに拡散しているのか？」など，ニュースの種類によってユーザ行動がどのように異なるかを明らかにする可能性がある. この回答に応じて, 誤りが生じた理由に関する質問 Q2-2A もしくは Q2-2B に回答する.

Q2-2A：「はい」なら，そのニュースはどのように作られたか？

選択肢: 1. 創作されたコンテンツ, 2. 画像の操作, 3. テキストの操作, 4. 誤ったコンテキスト

この質問は，意図的に発信されたニュースがどのように作成されたかを理解するためのもので，4つの選択肢を設定した。まず，完全に創作されたニュー スか，何かしらのリソースを改竄したニュースかに分類される．前者を「創作されたコンテンツ」とする．後者は，改窞の対象によって 3 パターンに分け，画像や動画を加工したものを「画像の操作」, ニュースのテキストやメッセージを加工したものを「テキストの操作」, コンテンツ自体は本物だが,誤った文脈情報とともに共有するものを「誤ったコンテキスト」とする.

Q2-2B：「いいえ」なら，発信者はどのように誤解したか?

選択肢: 1. 他の情報源の信頼, 2. 不十分な理解, 3 . ミスリーディング
この質問は，どのように意図しない誤ったニュースの拡散を防いでいくかを考える上で重要である．意図しない誤った情報が発信される背景として，3つの選択肢を設定した. 1 つ目は，他の情報源を信頼したことによって起こるもの. 英語を母国語としないユーザが，英語の記事などを誤訳したり，誤った情報を信用したりすることで起こる. 2 つ目は，発信者がニュースを十分に読み込まないことによって，不十分な理解や思い込みによって生じるもの. 3つ目は，発信者がニュースを十分に理解している可能性はあるが，それを十分に読者に伝えれなかったことで起こるもの.

Q3: そのニュースの対象は何/誰か？（複数回答可）誤ったニュースの対象，つまり主に影響を受ける対象は，ニュースのクラスタリングや検索において有用な情報である。このような情報を特定するタスクはまだ行われていないが，今後フェイクニュースの理解を進める上で重要であると考える.

Q4: そのニュースは対象をどのように扱うか？

選択肢: 1. 持ち上げ，2. 誹謗，3. どちらでもないこの質問は，そのニュースで扱っている対象について，持ち上げや称賛をしているのか，もしくは誹謗中傷や侮辱をしているのかを選択する．誤ったニュースでも，寄付のような善行か犯罪行為のような悪行かでは読者への印象は大きく異なる．そのため，フェイクニュースが分極化にどのような影響を与えるかを分析する点で重要である.

Q5: そのニュースの目的は何か？

選択肢: 1. 風刺/パロディ, 2. 党派性, 3. プロパガンダ, 4. 目的なし/わからない

誤ったニュースの一部は, COVID-19ワクチンが健康被害を引き起こすなどの自説を広める意図を持って拡散されている. 目的を推定できないニュースもあるが，3つの選択肢を設定した．1つ目は読者を楽しませたり，政治を批判したりすることが目的である風刺やパロディである [17]. 2 つ目は，政治的な文脈で一方的に偏った，党派性をもったニュー ス. 偏っていること自体は誤りではないが，誤りの可能性が高いという報告がある $[18,19] .3$ 目はプロパガンダと呼ばれる，イデオロギーや主張を広げたりするために行われる説得の一形態である [20].

Q6: 社会に与える有害さはどの程度か？

この質問は，社会に悪影響を与える可能性のあるニュースを特定するためのもので， $0-5$ の実数値で有害の度合いを回答する。0 は社会に害を与えない

パロディなどのニュースを， 5 は社会に大きな害を与えるニュースであることを示す.

Q7: そのニュースはどのような害を与えるか？

選択肢: 1. 害なし (例: 風刺やパロディ), 2. 社会に対する不安，3. 人，会社や商品に対する信頼，4. 政治や社会イベントの正しい理解, 5. 健康, 6. 人種や国に対する偏見，7. 陰謀論，8.わからない

誤ったニュースが引き起こす可能性のある被害を 7 つの選択肢で設定し，さらに「わからない」という選択肢を加えて選択する。この質問は，ニュースによりどのような被害が発生する可能性が高いのかを把握するのに有用である.

## 4 日本語データセット

## 4.1 データセット構築

日本語フェイクニュースデータセットの構築のため，ファクトチェック組織の 1 つであるファクトチェック・イニシアティブ (FIJ) [21] で 2019 年 7 月から 2021 年 10 月の間に掲載された検証記事を収集した. アノテーション作業は，ファクトチェック記事と発信源となった投稿・ニュース記事を確認しながら 3 名のアノテーターによって行われた. アノテーション例を図 1 に示す.

最終的に 307 件のニュースにアノテーションが行われた。そのうち, 186 件のニュースは拡散のきっかけとなった投稿とコンテキスト情報（Retweet や Reply 情報）を Twitter から収集した。その結果， 471,446 ツイート（1ニュースあたり平均 2,534 ツイート)，277,106 ユーザ（1ニュースあたり平均 1,489 ユーザ)，17,401 の会話データ（1ニュースあたり平均 93 会話）が含まれる. ラベルの分布を付録の表 1 に示す.

## 4.2 日本語データセットの分析

誤りのニュースと正確なニュースの比較を行うのが一般的だが，構築したデータには正確なニュー スのサンプルが 5 例しかない. そのため，本研究では「Q2-1: 発信者はそのニュースが誤りであることを知っていたか？」のはいんいえの回答を元に，つまり Disinformation/Misinformation の観点でツイートデータを分析した。ここでは，特に興味染い結果が得られたユーザアカウントの年齢と Bot 率についてのみ示す。その他の分析は付録 A で示す.

アカウントの年齢: 図 2 にユーザのアカウント作成

図 2: Disinformation と Misinformationを投稿したユー ザのアカウント作成日からの経過時間の分布

日からの経過時間の分布を示す. Misinfromation と Disinformation の分布は類似しているが，米国においてフェイクニュースを流すユーザ分布の報告 [1] と比較すると，作成から 1 年未満のアカウントが少なく，10 年以上 Twitter を利用しているアカウントが多いという傾向がみられた。

Bot の割合: Botometer API [22] を用いてユーザの Bot 割合を調査したところ，Disinformation で約 8\%， Misinformation で約 6\%であった. 米国ではフェイクニュースを流すユーザの約 $22 \%$ ơ Bot であるという報告 [1] と比較すると，かなり少ない比率であるといえる。

## 5 おわりに

本研究では様々な観点からフェイクニュースを捉え直す新しいアノテーションスキームを提案した。事実性だけでなく，意図やターゲット，統一的なラベリングを行うことで，フェイクニュースが引き起こす複雑な現象の深い理解が期待できる. そして， このスキームに基づいて，日本語で初めてのフェイクニュースデータセットを構築した。

一方で，この日本語データセットは根拠としたファクトチェック記事の数が少ないため，サンプル数が小さいという問題がある。この問題を解決するため，今後もデータセットを拡張していく. さらに，我々のアノテーションスキームに基づき日本語以外の言語のフェイクニュースデータセット構築にも現在取り組んでいる。これらの取り組みを通して，1. 既存のフェイクニュース検出モデルは付与したラベルをどの程度分類できるか，2. 言語や国によってフェイクニュースの拡散パターンがどのように異なるのか，といった点に注目できる。

## 謝辞

本研究の一部は，JSPS 科研費 JP19K20279 および厚生労働省科学研究費補助金 (課題番号 : H30-新興行政-指定-004）の支援を受けたものである.

## 参考文献

[1] Kai Shu, Deepak Mahudeswaran, Suhang Wang, Dongwon Lee, and Huan Liu. Fakenewsnet: A data repository with news content, social context, and spatiotemporal information for studying fake news on social media. Big data, Vol. 8, No. 3, pp. 171-188, 2020.

[2] Limeng Cui and Dongwon Lee. Coaid: Covid19 healthcare misinformation dataset. arXiv preprint arXiv:2006.00885, 2020.

[3] Xinyi Zhou and Reza Zafarani. A survey of fake news: Fundamental theories, detection methods, and opportunities. ACM Computing Surveys (CSUR), Vol. 53, No. 5, pp. 1-40, 2020.

[4] David MJ Lazer, Matthew A Baum, Yochai Benkler, Adam J Berinsky, Kelly M Greenhill, Filippo Menczer, Miriam J Metzger, Brendan Nyhan, Gordon Pennycook, David Rothschild, et al. The science of fake news. Science, Vol. 359, No. 6380, pp. 1094-1096, 2018.

[5] Soroush Vosoughi, Deb Roy, and Sinan Aral. The spread of true and false news online. Science, Vol. 359, No. 6380, pp. 1146-1151, 2018.

[6] Karishma Sharma, Feng Qian, He Jiang, Natali Ruchansky, Ming Zhang, and Yan Liu. Combating fake news: A survey on identification and mitigation techniques. ACM Transactions on Intelligent Systems and Technology (TIST), Vol. 10, No. 3, pp. 1-42, 2019.

[7] Zhiwei Jin, Juan Cao, Yongdong Zhang, and Jiebo Luo. News verification by exploiting conflicting social viewpoints in microblogs. In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 30, 2016.

[8] Kai Shu, Amy Sliva, Suhang Wang, Jiliang Tang, and Huan Liu. Fake news detection on social media: A data mining perspective. ACM SIGKDD explorations newsletter, Vol. 19, No. 1, pp. 22-36, 2017.

[9] Hunt Allcott and Matthew Gentzkow. Social media and fake news in the 2016 election. Journal of economic perspectives, Vol. 31, No. 2, pp. 211-36, 2017.

[10] Eni Mustafaraj and Panagiotis Takis Metaxas. The fake news spreading plague: was it preventable? In Proceedings of the 2017 ACM on web science conference, pp. 235-239, 2017.

[11] Nadia K Conroy, Victoria L Rubin, and Yimin Chen. Automatic deception detection: Methods for finding fake news. Proceedings of the association for information science and technology, Vol. 52, No. 1, pp. 1-4, 2015.

[12] Martin Potthast, Johannes Kiesel, Kevin Reinartz, Janek Bevendorff, and Benno Stein. A stylometric inquiry into hyperpartisan and fake news. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 231240, 2018 .
[13] Newsweek. British government bans the phrase 'fake news'. https://www.newsweek.com/british-governmentbans-phrase-fake-news-1182784, 2018. [accessed on November 9th, 2021].

[14] Francesca Giuliani-Hoffman. 'f*** news' should be replaced by these words, claire wardle says. https://money.cnn.com/2017/11/03/media/claire-wardlefake-news-reliable-sources-podcast/index.html, 2017. [accessed on November 9th, 2021].

[15] Harvey Leibenstein. Bandwagon, snob, and veblen effects in the theory of consumers' demand. The quarterly journal of economics, Vol. 64, No. 2, pp. 183-207, 1950.

[16] Firoj Alam, Fahim Dalvi, Shaden Shaar, Nadir Durrani, Hamdy Mubarak, Alex Nikolov, Giovanni Da San Martino, Ahmed Abdelali, Hassan Sajjad, Kareem Darwish, et al. Fighting the covid-19 infodemic in social media: A holistic perspective and a call to arms. In Proceedings of the International AAAI Conference on Web and Social Media, Vol. 15, pp. 913-922, 2021.

[17] John Brummette, Marcia DiStaso, Michail Vafeiadis, and Marcus Messner. Read all about it: The politicization of "fake news" on twitter. Journalism \& Mass Communication Quarterly, Vol. 95, No. 2, pp. 497-517, 2018.

[18] Gabriel Hine, Jeremiah Onaolapo, Emiliano De Cristofaro, Nicolas Kourtellis, Ilias Leontiadis, Riginos Samaras, Gianluca Stringhini, and Jeremy Blackburn. Kek, cucks, and god emperor trump: A measurement study of 4chan' $s$ politically incorrect forum and its effects on the web. Proceedings of the International AAAI Conference on Web and Social Media, Vol. 11, No. 1, pp. 92-101, 2017.

[19] Savvas Zannettou, Barry Bradlyn, Emiliano De Cristofaro, Haewoon Kwak, Michael Sirivianos, Gianluca Stringini, and Jeremy Blackburn. What is gab: A bastion of free speech or an alt-right echo chamber. In Companion Proceedings of the The Web Conference 2018, pp. 10071014, 2018.

[20] Garth S Jowett and Victoria O'donnell. Propaganda \& persuasion. Sage publications, 2018.

[21] Fact Check Initiative Japan. Fact check initiative japan. https://fij.info/. [accessed on November 9th, 2021].

[22] Clayton Allen Davis, Onur Varol, Emilio Ferrara, Alessandro Flammini, and Filippo Menczer. Botornot: A system to evaluate social bots. In Proceedings of the 25th international conference companion on world wide web, pp. 273-274, 2016.

[23] Vahed Qazvinian, Emily Rosengren, Dragomir R. Radev, and Qiaozhu Mei. Rumor has it: Identifying misinformation in microblogs. In Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing, pp. 1589-1599, 2011.

[24] Amazon Comprehend. Amazon comprehend. https://docs.aws.amazon.com/comprehend. [accessed on November 23th, 2021].

## A 日本語データセットの分析

## 投稿コンテンツ

図 3 に 2 2-1 のラベルの Disinformation/Misinformation ラベルに関する投稿テキストに基づいて作成されたワードクラウドを示す. どちらのワードクラウドでも「日本」という単語が大きく表示されている. 特に，Disinformation のワードクラウドである図 3(a) には，COVID-19 に関連する語が多く見られる。一方で，Misinformation のワー ドクラウドである図 3(b) には，中国やバイデンといった国名や外国の有名人に関連する語が多く見られる。

(a) Disinformation

(b) Misinformation図 3: Q2-1 におけるラベルごとのワードクラウド

## 返信の感情分析

人々はソーシャルメディアの投稿を通して， ニュースに対する感情や意見を表現する。このような特徴は，誤ったニュースの重要な信号となる $[23$, 7]. 感情分類 API である Amazon Comprehend [24] を用いて, Disinformation/Misinformation とラベルが付与されたニュースに対する投稿の返信を，Positive， Neural, Negative と 3 つのカテゴリに感情分類する.

図 4 に，各ニュース記事に対する返信投稿の感情の比率を示す. Disinformation/Misinformation ともに感情的な反応は少なく, Neutral な返信が多いことが分かる. 感情的な返信に着目すると, Misinformation とラベルが付与された一部のニュー スには Positive な返信が多いものも見られるが，基本的には Negative な返信が多い. どちらのラベルに関わらず，誤ったニュースは Negative な感情を引き起こしやすいことが示唆される.表 1: 日本語フェイクニュースデータセットのラベルの分布. 各列に質問とそのラベルが付与された総ニュース数を示す

 & 21 \\

(a) Disinformation

(b) Misinformation

図 4: Disinformation/Misinformation とラベルが付与されたニュースに関する投稿の感情 (Positive，Neural， Negative）三角プロット


# 医療用語の is-a オントロジー構築の FCA を使った効率化

黒田航 ${ }^{1}$ 相良かおる ${ }^{2}$
1 杏林大学 2 西南女学院大学
}

\begin{abstract}
本論文は，専門用語の文字列基盤の FCA で，is-a オントロジー 構築を効率化する手法を提案する. 重複した要素や不連続な 要素を用語の構成要素として認めると, 網羅性の高いオントロ ジーの雛型が FCA を用いて半自動で得られる事を示す. 構成要素を, 人手認識する方法と文字 n-gram で自動認識する方法 とを比較し，後者が期待を持てる性能を示す事が示された。
\end{abstract
## 1 はじめに

医療用語のオントロジー $[1,2,3]$ を開発したい. ただし対象を is-a 関係に限定し1)，それもなるべく人手をかけずに. その目的を実現するために Formal Concept Analysis (FCA) $[4,5,6,7,8,9,10,11,12,13,14,15]$ を利用する方法を検討する．FCA の詳細を説明している余裕はないため，その概要を付録 A に示す.

## 2 語構成解析の際の FCA の有効性

## 2.1 要素の重複, 不連続性

自然言語の文やその部分を意味のある部分に分ける課題は，NLPにとって重要な課題である. これは対象が医療文書のような専門文書であっても同じである.

解析対象が通常の日本語文の解析の場合，それを実現する作業は形態素解析 (morphological analysis) = トークン化 (tokenization) である. これを実現する高性能で実用的な解析器が幾つも存在する (Mecab, KNP, KyTea). それに較べて専門用語の解析精度は未熟である $[16,17,18]^{2}$.理由は 2 つある．第一に，専門用語の解析では POS 夕グに相当する構成概念が未定義である (それ故，可能性空間が効率的に制限できない). 第二に，構成要素の重

複と不連続性が顕著である. この帰結の一つは (1) の構成関係の解析が (2a)のような木構造にならず，(2b) のような束構造 (lattice structure) [4] になる点である (n=1, 2, ...は文字 n-gram の $\mathrm{n}$ の値).

(1) 肺動脈弁閉鎖不全症 4 )

（2） a. [[肺 $[$ 動脈 $]]$ 弁 $][[[$ 閉鎖 $][$ 不全 $]]$ 症 $]$
b. $\mathrm{n}=1$ 肺, 動, 脈, 弁, 閉, 鎖, 不, 全, 症

$\mathrm{n}=2$ 不全, 動脈, (肺脈), (脈弁), 閉鎖

$\mathrm{n}=3$ 不全症, 弁不全, 弁閉鎖, 脈不全, 肺動脈

$\mathrm{n}=4$ 閉鎖不全, 動脈不全, 弁不全症, 肺動脈症, 肺脈不全, 脈不全症, 脈弁閉鋭, 脈弁不全

$\mathrm{n}=5$ 閉鎖不全症, 動脈弁閉鎖, 弁閉鎖不全, 肺動脈弁症, 動脈不全症, 肺脈不全症, 動脈弁不全, 肺動脈不全, 肺脈弁不全, 脈弁不全症

$\mathrm{n}=6$ 肺動脈弁閉鎖, 弁閉鎖不全症, 脈弁閉鎖不全, 動脈弁不全症, 肺動脈不全症, 肺動脈弁不全, 肺脈弁不全症

$\mathrm{n}=7$ 動脈弁閉鎖不全, 脈弁閉鎖不全症, 肺動脈弁不全症

$\mathrm{n}=8$ 肺動脈弁閉鎖不全, 動脈弁閉鎖不全症, 肺動脈弁閉鎖不全症

$\mathrm{n}=9$ 肺動脈弁閉鎖不全症

（2a）に示した句構造解析は，第一筆者が適切だと考えたものであるが，これが真の構造解析だとは思っていない5). 用語の構成関係が存在するならば，それは木構造では記述できず，束構造が必要である6). Figure 1 の Hasse 図は (2b) に対応する束構造を表す.これは (1)を構成する有意味な部分文字列を前後で重複している場合と不連続な場合を含めて網羅している。

Hasse 図は，i) 対象の is-a 関係のネットワークを表わし，ii) 属性の集合の階層を表わすので，Figure 1 にある図は次のように解釈できる:

（3） a. 属性 (灰色ラベル) は束の上にある程，共有される度合いが高い，下にあるある程，共有されない度合いが高い。

b. 対象 (白色ラベル) は束の下にある程，(満足している属性の数が多いので) 複合的である. 上にある程，単純である。

なお，ここに示した FCA の結果は属性と対象が同一文字列であるという意味で，典型的ではない。

## 2.2 部分の有意味性の判定

Figure 1 の Hasse 図を医療の専門家が見た時には，有意味な部分文字列に余剩や欠落があるかも知れない。 そうだとしても，それはFCAを使った手法の難点ではない.部分文字列の有意味性の判定は経験的問題であり, これ自体がオントロジー構築の主要な部分である. ヒトは有意味性の判定は得意だが，侯補の洗い出しは苦手である. FCA は後者の作業を自動化し，構築全体を効率化する。

Figure 1: (1) の重複, 不連続性を認めた構成関係 lattice

Figure 2: 属性 (D1, E1, .., BA1) と対象 (C 列にある用語) との真偽表 (=形式文脈) を生成する Excel シート

Figure 1 の Hasse 図は Concept Explorer 1.37) に形式文

古いツールだが，後発でこれを凌駕するツールは見当たらない。
}

脈を与えて作成した。その形式文脈は，図 2 にある Excel 作業シートで自動作成した. 属性名 $X$ は $X$ を部分に持つかどうかの真偽判定である．なお，真偽判定は不連続性を認めるようにワイルドカードを用いて実装している.

補助情報: D 列以後，表の一番下の行にある数字は，属性が真になる対象 (=用語) の個数である. B 列の要素数は，C列の用語が何個の属性を真とするかを表す. 例えば，[肺動脈弁閉鎖不全症] は 45 個の属性を，[動脈弁不全症] は20 個の属性を真とする。

## 2.3 不連続構成性の効果

Figure 1 の Hasse 図では，不連続性を認める事で得られる効果がはっきりしない，それを明らかにするため比較対象として, Figure 3 に不連続な構成要素を認めない条件で構築した Hasse 図を示す.

Figure 3: (1) の不連続性を認めない構成関係 lattice

Figure 3 では 37 個の空ノードがあり，属性が合致する総数は 456 個である.これに対し, Figure 1 では 15 個の空ノードがあり, 属性が合致する総数は 549 個である. 不連続性を認めない事で，空ノードが 22 個増えている.これは属性の合致数が減っている故に起きている事である. 空ノードの増加は (属性数と対象数は同じなのだから) 認識される is-a 関係数の減少 (= 一部が体系的に見逃されている事)を意味する。

## 2.4 解析結果の合成と分解

束構造で構成関係を表す事には，i) 要素の間の重複を扱える，ii) 不連続な要素を認定できる，の二点に加えて，更に次の利点がある:

a. 複数個の用語の構成関係を同時に表現でき (理論的には何個でも)で，オントロジーの全体象を一瞥するのに使える。

b. 構成概念に相当する構成要素を半自動的に見つけられる

この点を (1)と (5) の構成関係を同時に表現した束構造を表した Figure 4 と Figure 5 で確かめる.

(5) 肺動脈弁異常症

(1) と (5) は $[$ 肺動脈弁 $\{$ 閉鎖不全, 異常 $\}$ 症 $]$ の対であり，不連続な部分文字列 [ 肺動脈弁症]を共有している点に注目されたい。

Figure 4: (1)と (5) の構成関係を表現した束構造

Figure 5: (1) と (5) の構成関係を表現した束構造

Figure 4 は(1) に対応する部分束を選択した版, Figure 5 は (5) に対応する部分束を選択した版である．2つの FCA の結果 $R_{1}, R_{2}$ を統合するには，それぞれの元になった形式文脈 $C_{1}=O_{1} \times A_{1}$ と $C_{2}=O_{2} \times A_{2}$ から, まず $O_{1}$ と $O_{2}$ の和集合 $O_{3}$ と $A_{1}$ と $A_{2}$ の和集合 $A_{3}$ を得て,これから $C_{3}=O_{3} \times A_{3}$ を作り, それを形式文脈として解析を実行すれば良い. FCA の結果の分解はこの逆の操作であるが，当然のように，その産物は一意に決まらない。

## 2.5 提案する解析法

以上の簡単な解析例から, FCA が (医療) 用語の語構成解析に有効である事は示せたはずである．ただ，上の方法では属性 (= 有意味な部分文字列) を人手で認定していた. この手順は省力化できると嬉しい。その方法として，文字 n-gram を使う事が考えられる。
また，FCAを使った解析の結果は，それ自体は意味分類ではなく，それと相関しているだけなので，用語の分類に人手で付与した意味カテゴリーを反映させる必要もあるだろう (期待されている効能は [[閉鎖不全] 症] is-a [[異常] 症] や [閉鎖不全] is-a [異常] のような部分の is-a 関係の自動的認識である).

語構成解析に FCA を利用する方法は次の 4 通りが考えられる：

（6） a. 属性構築の省力化のために，文字 n-gram を用いる方法 (A1) vs 用いない方法 (B1)

b. 意味分類と対応づけるために，人手付与した意味ラベルを追加利用する方法 (A1, B1) vs しない方法 (A2, B2)

今回の報告では $\mathrm{A} 1$ と B1 の比較に焦点を絞る.

## 3 分析: 文字列基盤の FCA

## 3.1 データ

『実践医療用語_語構成要素語彙試案表 Ver.1.0』 (GSK2020-G) [22, 23, 24] の 6,380 個のく語構成要素>から 67 事例 $(1.05 \%)$ を無作為抽出し, 解析の対象とした.形式文脈の作成法は $\$ 2.2$ で述べた方法と同じである.

## 3.2 結果 1: 属性を人手認識

Figure 6 の Hasse 図の構築では，対象となる 67 語のそれぞれについて，意味のある部分文字列を人手で認定抽出し, 属性に使った (実行したのは第一著者である).この結果からも，医療用語 (特に病名) を構成する支配的な文字とその背後にある概念が推測できる. [脈], [骨], [肺] が共通して身体部位 (i.e., 器官) 名である事や, [閉塞], [閉鎖] が共通して機能 (の不全) である事は示されていない。そのような知識を反映させるには，明示的な意味クラス付与が必要となる. そのような大分類が得られないとしても, 人手認識では見落とされがちな細分類の発見支援の目的には，有用である。

## 3.3 結果 2: 属性を文字 n-gram で自動認識

Figure 7 の Hasse 図の構築では, 対象となる 67 語のそれぞれについて, 文字 $\mathrm{n}-\operatorname{gram}(\mathrm{n}=1,2, \ldots, \max )$ を再帰的に認定抽出し, 属性に使った. この結果からも, Figure 6 の Hasse 図と同じように医療用語 (特に病名)を構成する支配的な文字とその背後にある概念が推測できる.こ

Figure 6: sample 1 の lattice [属性は人手構築した部分文字列; (1) の部分束を選択]

Figure 7: sample 1 の lattice [属性は自動構築した文字 n-gram; (1) の部分束を選択]

の解析でもっとも汎用的な語/概念は，[腿], [骨]であり， [大]がそれに続く.これはサンプルのバイアスを体現してはいるが，それでも傾向が見て取れる。

Figure 8: 文字 n-gram の異なり数の増加

Figure 6 の Hasse 図と Figure 7 の Hasse 図の最大の違いは，カタカナ語 (e.g., エンテロウィルス, ボツリ又ス, エストロジェン)の内部構造が解析されている点にある. これは不要な解析だが，用語のカタカナ部分を n-gram 抽出の対象から除外すれば解消できる問題である.

その一方，用語の文字 n-gram を属性に使った方が，可能な構成要素の取りこぼしが少ない. ただ，属性の数が余りに多くなると, FCAが実時間では終わらない. 現害的な解析に必要な文字 n-gram の規模はどれ程なのか？ 912 語句からなる別のサンプルで, 文字 n-gram の異なり数と $\mathrm{n}$ との関係を調べた. このサンプルは, 文字数の平均値: 3.82 , 中央値: 3 , 最大值: 18 [びまん性メサンギウ么増殖性系球体腎炎], 最小值: 1 [鸗], 標準偏差: 1.905 の特性を持つ. Figure 8 のグラフが示すように，異なり数の増加は $\mathrm{n}=7$ 辺りで頭打ちとなる。それ故, 文字 n-gram の利用は非効率に思えるが，悪い選択ではないと判る。

## 4 結論

本論文は, 専門用語の文字列基盤の FCA でオントロジー 構築を効率化する手法の概要を示した. 文字列 n-gram を属性に用い，それらの不連続な生起を部分として認めると, 網羅性の高いオントロジーの雛型が半自動で得られる事が示された。一方，大規模な形式文脈を大力とする FCA の実行は，それなりに計算資源を要求する。これを軽減するための工夫, 特に明らかに不要な文字 n-gram の除外は必要だろうと思われる。文字列基盤の FCA では, 意味カテゴリー(e.g., 器官名, 病名, 病原体名)を表現できないという難点はあるが，それは意味ラベルを補助情報として用いて解決可能だと考える.

最後に断っておくと，FCA はオントロジーを自動構築しない．意味のあるノードとそうでないノードの区別を行うのは人間である。

## 5 謝辞

本研究は JSPS 科研費 JP21H03777 の助成を受けたものである.

FCA の実行は Concept Explorer 1.3 (http://conexp. sourceforge.net)を使用した.

## References

[1] 大江和彦. 病名用語の標準化と臨床医学オントロジーの開発. 情報管理, Vol. 52, No. 12, pp. 701-709, 2010.

[2] Alan L. Rector. Clinical terminology: Why is it so hard? Methods of Information in Medicine, Vol. 38, No. 4, pp. 249252, 1999.

[3] 里村洋一. “用語” と “分類” からオントロジーへ. 医療情報学, Vol. 25, No. 6, pp. 377-384, 2005.

[4] B. A. Davey and H. A. Priestley. Introduction to Lattices and Order. Cambridge University Press, 2nd edition, 2002.

[5] Bernhard Ganter and Rudolf Wille. Formal Concept Analysis: Mathematical Foundations. Springer-Verlag, Berlin, 1999. Translated by C. Franzke.

[6] Bernhard Ganter, G. Stumme, and R. Wille. Formal Concept Analysis: Foundations and Applications. Springer, Berlin/Heidelberg, 2005.

[7] 鈴木治, 室伏俊明. 形式概念分析 -入門・支援ソフト・応用-. 知能と情報, Vol. 19, No. 2, pp. 103-142, April 2007.

[8] 黒田航. 言語の表層語形から品詞はどの程度正確に予測できるか？：語彙獲得難度の絶対指標の提唱. 言語処理学会第 20 回年次大会発表論文集, pp. 1043-46, 2014.

[9] Kow Kuroda. Formal Concept Analysis meets grammar typology. In Proc. of the 21st Annual Meeting of the NLP Association, pp. 329-332, 2015.

[10] 黒田航. 表層語形から品詞はどれぐらい正確に予測できるか？：英語形態論とチェコ語形態論の比較から. 認知科学, Vol. 22, No. 4, pp. 621-637, 2015.

[11] Kow Kuroda. How are inflectional paradigms represented (in the mind)? - Formal Concept Analysis meets Czech declensional paradigms. In Proc. of the 22nd Annual Meeting of the NLP Association, pp. 849-852, 2016.

[12] 長田博泰. 形式概念にもとづく質的分析. 社会情報, Vol. 14, No. 1, pp. 19-37, 2004.

[13] 長田博泰. 形式概念を用いたデータ解析 : 幼児発達行動の分析. 社会情報学研究, Vol. 11, No. 2, pp. 71-81, 2006.

[14] 長田博泰. 社会情報解析への一寄与: 形式概念解析によるデータ解析. 社会情報, Vol. 15, No. 2, pp. 103-118, 2006.
[15] 長田博泰. 形式概念解析ツールとデータ解析. 社会情報, Vol. 17, No. 1, pp. 47-64, 2007.

[16] 西本尚樹, 谷川玩海, 蒋国謙, 小笠原克彦, 櫻井常太朗. 標準病名辞書による画像診断用語の形態素解析. 医療情報学, Vol. 24, No. Suppl., pp. 812-812, 2004.

[17] 西本尚樹, 寺江聡, 蒋国謙, 上杉正人, 寺下貴美, 谷川玩海,遠藤晃, 小笠原克彦, 櫻井常太朗. 複合語を構成する医学用語間の意味関係の同定における課題: CT 画像診断レポー トに出現する複合語を対象として. 医療情報学, Vol. 25, No. 6, pp. 413-420, 2005.

[18] 内山清子, 岡照晃, 東条佳奈, 小野正子, 山崎誠, 相良かおる. 実践医療用語の語構成要素抽出の試み. 言語資源活用ワークショップ発表論文集, 第 3 巻, pp. 463-467. 国立国語研究所, 2018.

[19] 大島智夫. 日本語の医学用語についてのおぼえ書き. 専門用語研究, Vol. 1, pp. 18-21, 1990.

[20] 篠原恵美子. 高精度な正規化技術の実現に向けた身体部位表現の内部構造モデル．医療情報学, Vol. 34, No. 5, pp. 211-220, 2014.

[21] 山田恵美子, 松本裕治. 文字係り受けに基づく専門用語の内部構造表現と解析. 情報処理学会研究報告,第 2009-NL191/2009-SLP-76 巻. 情報処理学会, 2009.

[22] 相良かおる, 山崎誠, 麻子軒, 東条佳奈, 小野正子, 内山清子. 実践医療用語の語構成要素: 意味を基準とした分割. じんもんこん 2019 論文集, 2019.

[23] 相良かおる, 小野正子, 高崎智子, 東条佳奈, 麻子軒, 山崎誠. 実践医療用語の語構成と意味: 語構成要素語彙表試案表の作成にむけて.じんもんこん 2020 論文集, 2020 .

[24] 相良かおる. 実践医療用語における語構成要素の意味ラベルについて. 言語処理学会第 27 回年次大会発表論文集, pp. 559-562, 2021.

[25] Kow Kuroda. Pattern lattice as a model for linguistic knowledge and performance. In Proc. of the 23rd Pacific Asia Conference on Language, Information and Computation, Vol. 1, pp. 278-287, 2009.

## A FCA の基本知識

## A. 1 FCA は何をする道具か？

簡単に言うと, FCA は属性によって定義された対象を自動分類するためのアルゴリズムの一つである．それは概念 (concept) を次のように形式化する事で実現される.

(7) a. (形式的) 概念 $c$ とは, 外延 $o$ と内包 $a$ の対である (記号で書けば, $c:=(o, a)$ ).

$\mathrm{a}^{\prime}$. ただし, 外延 $o$ と内包 $a$ はそれぞれ, 対象の全体集合 $O$ と属性の全体集合 $A$ の部分集合とする.
b. $c_{i}$ と $c_{j}$ は, [一方が他方を含む] という関係について順序構造をなし， $c_{i}, c_{j}$ を要素にもつ概念の全体集合 $C$ に束構造 (lattice) がある.

要するに，FCA は，概念を (7a)のように (数学的に) 定義した上で，概念間の関係を $(7 b)$ が定義する束構造として明示化する手順である。

もっと一般的な理解では，対象の集合 $O=\left.\{o_{1}, \ldots, o_{n}\right.\}$ があり，それらを記述する属性の集合 $A=\left.\{a_{1}, \ldots, a_{m}\right.\}$ が (暫定的に) 定められた時, $O$ と $A$ の直積 $O \times A$ に真理值を割り当てる. これが表現する状態を離散的に自動分類するためのアルゴリズムの一つが FCA である.

## A. 2 FCA の数学的定義

Table 1: 文脈=対象集合 $O$ と属性集合 $A$ の直積に真理值を割当てた状態

## A.2.1 形式文脈の定義

対象集合と属性集合の関係を統合して表現するため，(形式) 文脈 ((formal) context) を定義する.

(8) a. $n$ 個の対象 $A=\left.\{o_{1}, o_{2}, \ldots, o_{n}\right.\}$ があり，これらを $m$ 個の属性 $A=\left.\{a_{1}, a_{2}, \ldots, a_{m}\right.\}$ で記述した状態がある。 $O$ と $A$ の直積 $O \times A$ を考える.
b. $O \times A$ で，対象 $o_{i}$ が属性 $a_{j}$ をもつ時に， $(i, j)$ に ×を書き，そうでない時に何も書かないとする。

c. この処理の結果は, 対象 $o_{i}$ が属性 $a_{j}$ をもつがうかの真偽表だと見なせる. この真偽表を $O$ と $A$ の (形式) 文脈と呼ぶ. d. 二項関係 $\left(o_{i}, a_{j}\right)$ の全体集合 $R$ は，関係が真である場合の集合 $T$ と偽である場合の集合 $F$ に分割できる $(R=T \cup F)$.

e. このうち, 真である二項関係の集合 $T$ を考え, 三組 $(O, A, T)$ を定義する. これが (形式) 文脈である ${ }^{8}$.

(形式) 文脈の一例を表 1 に示す. この文脈は, 対象 $o_{1}$ が属性 $a_{2}$ と属性 $a_{m}$ を持ち, 対象 $o_{2}$ が属性 $a_{2}$ を持ち, 対象 $o_{n}$ が属性 $a_{1}$ と属性 $a_{m}$ を持っている状態を記述している. 従って, $(O, A, T)$ で,

$
T=\left.\{\left(o_{1}, a_{2}\right),\left(o_{1}, a_{m}\right),\left(o_{2}, a_{2}\right), \ldots,\left(o_{n}, a_{1}\right),\left(o_{1}, a_{m}\right)\right.\}
$

である.

## A.2.2 (形式) 概念の定義

次に対極と (形式) 概念 ((formal) context) の定義を示す.

(9) a. $O$ の部分集合 $o$ について，oの対極 (polar) を $o$ に属する対象のすべてに共有されている属性の集合と定義し, $o^{\prime}$ と表記する. 同様に, $A$ の部分集合 $a$ について，aの対極を $a$ のすべてを属性を体現している対象の集合と定義し， $a^{\prime}$ と表記する．数学的には，
b. $o^{\prime}=\{a \in A \mid(x, a) \in T$ for all $x \in o\}$ で $a^{\prime}=\{o \in$ $O \mid(o, y) \in T$ for all $y \in A\}$ である

(10) a. (形式) 文脈 $(O, A, T)$ にある (形式) 概念 $c$ とは, $a^{\prime}=o$ かつ $o^{\prime}=a$ の条件を満足する対 $(o, a)$ と定義する。

b. 概念 $c:=(o, a)$ の $o$ を $c$ の外延 (extent), $a$ を $c$ の内包 (intent) と呼ぶ.

## A.2.3 (形式) 概念束の定義

次に (形式) 概念の束 (lattice of (formal) concepts) の定義9)を示す.

a. (形式) 文脈が与えられ，それに $\left(o_{1}, a_{1}\right)$ と $\left(o_{2}, a_{2}\right)$ の二つの (形式) 概念があるとする. $o_{1} \subseteq o_{2}$ ならば (同じ事だが $a_{2} \supseteq a_{1}$ ならば $),\left(o_{1}, a_{1}\right)$ を $\left(o_{2}, a_{2}\right)$ の下位 (形式) 概念と呼ぶ. この場合, $\left(o_{2}, a_{2}\right)$ は $\left(o_{1}, a_{1}\right)$ の上位 (形式) 概念であり,これを $\left(o_{1}, a_{1}\right) \leq\left(o_{2}, a_{2}\right)$ と書き表わす。

b. பという関係を, (形式) 概念の階層的順序 (か単に順序) と呼ぶ.

c. こうして順序づけられた, 文脈 $(O, A, T)$ の全概念の集合を $\mathfrak{B}(O, A, T)$ で書き表し，これを $(O, A, T)$ の (形式) 概念束 ((formal) concept lattice) と呼ぶ.
^{8)}(O, A, F)$ は $(O, A, T)$ の真偽の指定を逆転した状態を表わす文脈である. $(O, A, T)$ と $(O, A, F)$ は同一の Hasse 図を与えない.

 }^{9)}$ Ganter and Wille [5, p. 19] の Definition 21 を元に解説した.


#
松下ミュ・田上雷悟・福井彩香・本田優月（九州大学文学部）

上山あゆみ (九州大学大学院人文科学研究院)

#
# 概要

ナンテという語は、さまざまな用法を持ってい る。このようなナンテのさまざまな用法について、 9 つに分類し、分類のためのフローチャートを作成した。実際にガイドラインに沿って『現代日本語書き言葉均衡コーパス』(BCCWJ)によってアノ テーションを試み、カッパ值を計算すると約 0.63 となり、ある程度信頼性のあるガイドラインが作成できたと結論づけた。

## 1. はじめに

本発表はナンテを機能分類し、自然言語処理に活用できるようにする試みである。助詞ナンテは飛田,浅田(1994)や磯山(2000)、滝(2018)などの中でナドの口語的な用法とされ、軽視や例示をはじめとして、いくつかの分類設定の試みがなされている。しかし、基準が曖昧なものや複数の用法にまたがって該当するものもある。このように、実際の用法は複雑かつ多岐にわたるため、コーパスの有用性をより高めるべくも分類のガイドラインを作成する必要がある。本発表では、ナンテの様々な用法について分類ガイドラインを作成し、実際にアノテーションを試み、その結果を述べる。

## 2. ナンテの分類ガイドライン

まず、提案するガイドラインを示す。

 \\

 &  \\

## 3. 用法の詳細と例文

ナンテの用法をガイドラインの通り、9つに分類した。以下、それぞれの用法の基準について例文と共に記す。以下、特に記載がないものは全て作例である。

## 3.1. 不定

このナンテは後部の要素に係る。また、ナンテを「なんと(いう)」に置き換え可能である。

a. おじょうちゃん、なんて(=なんという)名前? [飛田・浅田 1994:411(1)-(1)]
b. 彼女になんて(=なんと)言い訳すればいいんだ。[飛田・浅田 1994:4:411(1)-(2)]

(1)は、後部の「名前」「言い訳」が不定であることを表している。このような場合、ナンテは「不定」に分類される。

## 3.2. 程度の甚だしさ

「不定」同様、ナンテが後部の要素に係る。また、ナンテを「なんと(いう)」に置き換え可能である。その他、以下のように「〜(の/ん)だろう！」 と共起可能である。

(2)

a.この灯台からの風景はなんて (=なんと)美しいんだ!

=この灯台からの風景はなんて美しいんだろら!

b. プロ初打席でヒットを打つとは、 なんて(=なんという)選手だ！

=プロ初打席でヒットを打つとは、なんて選手だろら!

後部の要素の程度が甚だしいことを表す場合、「程度の甚だしさ」に該当する。aでは「美しい」 こと、 $\mathrm{b}$ では「選手」の程度の甚だしさを示している。

## 3.3. 状態・感情の暗示・強調

この用法は、ナンテが文末にある場合と、ナンテの後部が省略可能である場合の二つの場合がある。後者では、ナンテの後部には(4)、(5)のように前部の要素に対する感想、疑問が述べられる。これらは、ナンテを「とは」に置き換え可能である。

（3）まさか結婚の話が嘘だったなんて!

(4) a. シチューがこんなにまろやかなんて、驚いた。

b. シチューがこんなにまろやかなん $\tau_{0}$

（5） a. 急に部屋が綺麗になるなんて、何が起きたのだろう？

b. 急に部屋が綺麗になるなんて。

この 2 つの場合をともに満たすとき、このナン
テは、主体が何らかの状態にあることや何かしらの感情を抱いていることを暗示、その主体の気持ちを強めたりする働きを持つ、「状態、感情の暗示、強調」に分類される。また、この用法ではナンテが前部の要素に係る。

## 3.4. 至高

「ナンテ(いう)ものではないいりません/すまないの形をとる。また、この用法ではナンテが前部、後部の要素にともに係る。

(6) ディズニーランドを貸し切りにできたら、楽しいなんてものじゃないだろう。

(6)のように否定表現と共起し、直前、ここでの 「楽しい」を否定することで、その否定を超えて直前の要素を最大限まで高める。こうした場合、

「至高」に分類される。

## 3.5. 軽重の評価

ナンテの前部の持っている価値に主体が評価を下していることを表す場合、「軽重の評価」に分類される。また、この用法ではナンテが前部の要素に係る。

a. 江戸っ子なら、安い寿司なんて食べるな。

b. 白鳥なんて、この世で最も美しい鳥といっていい。

一つの用法ではあるものの、ラベルにあるように、評価は一通りのものではない。例えば、a き、主体は「江戸っ子であれば安い寿司といらものを食べるべきはない」という風に「安い寿司」

に対して低評価を下している。また、b の場合では、主体は「白鳥」に高い評価を下していることが後部の内容からうかがえる。このように、低評価、高評価の 2 つ評価がこの用法には含まれている。

## 3.6. 実現可能性の低さ

この用法は、(8)のように「ない」「できない」等の存在や実現を否定する表現と共起可能である。 また、ナンテが前部の要素に係る。

(8) a. 当時の日本には、ラジオなんて無かっt。

b. あいつとの結婚なんて絶対認めることはできない。

このようにナンテが前部の要素を非現実的なもの、実現可能性が低いものとしてとりあげていると解釈可能である場合、「実現可能性の低さ」に分類される。

## 3.7. 代表の提示

この用法はナンテの前部の内容をあるカテゴリ一の代表として明示する用法である。また、この用法ではナンテが前部の要素に係る。

(9)

a. 週末なんて、渋谷まで足を運んだわ。

b. ボーダーの T シャツなんて、いかがですか?

c. 大学入試用の問題集として、赤本や黒本なんてものが有名だ。

bのように、「どうですか」「いかがですか」等の推薦表現と共起する場合や、 $\mathrm{c}$ のように「赤本」 と「黒本」という、複数の同質の要素を列挙する場合のときも、この用法に分類される。

## 3.8. ごまかし

ナンテが、前部で述べられた内容に対しての話しての照れや取ずかしさをごまかす働きをしていると解釈可能である場合、「ごまかし」に分類される。この用法では、ナンテは前部、後部いずれにも係らない。

(10) a. 俺がどんなときでも駆けつけてやる、なんてな。

b. (プロポーズ)僕が一生全力でお守りしますから、なあんてね。[飛田・浅田 1994:412(4)-(17]

(10)のように「なんて敞」「なんてな」などの終助詞を伴う形で多く用いられる。また、ナンテそのもの、ないし「ナンテ十終助詞」を省略したとしても、文全体に影響がないことが特徴である。

## 3.9. 婉曲的引用

基本的に、ナンテの前部に伝達、あるいは思考を示す内容が述べられており、それらを表す名詞や動詞と共起しやすいことが特徴である。

伝達を表す名詞、動詞の例としては「言う」「聞く」「意見」「報告」などが挙げられる。思考を表す名詞、動詞の例としては「思う」「想像する」

「悩み」「考え方」などがある。 また、 $\mathrm{b}$ のように、前部が固有名詞であるパ夕 ーンもある。

（11） a. 先生から.「明日の遠足は中止だ」なんて言葉が発せられた途端、教室の雾囲気は一変した。

b. 川崎 A子さんなんて名前、聞いたことありません。

c. 携帯電話を忘れるなんて(=という)経験くらい、誰にでもある。

この他、cのように、ナンテが「と(いう)」「などと(いう)」に置き換え可能である場合、「婉曲的引用」に分類されることがある。そしてこの用法に分類されるナンテは、前部の内容を引用しつつ、 その印象を弱める働きをする。また、この用法では「至高」同様、ナンテが前部と後部の要素のいずれにも係る。

## 4. 用法の補足

ナンテは複数の用法に共通する特徵がいくつかある。まず、「ナンテ(いう)こと/もの」という形の場合、「は」「を」「が」「こと/もは」「こと/ものを」「こと/ものが」に置き換え可能である。 これは9つの用法の内、「軽重の評価」「実現可能性の低さ」「代表の提示」の3つに該当する。

(12)

a. 付け焼き刃の技術なんて(=は)ボロが出て当然だ。

b. たった一度の失敗なんてもの(=を) いつまでも引きずるなよ。

c. 空がこんなにきれいな色になるな

得るんだろうか。
d. 7 月中に夏休从の宿題を終わらせ

るなんていうこと(=ことを/のを)、初めてやった。

次に、ナンテが係る部分についてである。特徴として、「前部」に係るもの、「後部」 に係るもの、「前部、後部両方」に係るもの、そして例外としてどの要素にも「係らない」ものの 4 つに分けられる。9つの用法を 4 つの区分に分けたとき、以下のようになる。

(1) 前部...「不定」「程度の甚だしさ」

（2）後部...「状態、感情の暗示、強調」「軽重の評価」「実現可能性の低さ」「代表の提示」

(3) 前部、後部両方...「至高」「婉曲的引用」

(4) いずれにも係らず...「ごまかし」

## 5. アノテーション結果

『現代日本語書き言葉均衡コーパス』(BCCWJ) からナンテを含んだ例文 500 例を抽出し、上記の分類ガイドラインに従って実際にアノテーションを行った。九州大学文学部所属の、ナンテの分類に関与していない学生 2 人がそれぞれアノテーシヨンを行い、その結果からカッパ値を計算したところ、約 0.63 となった。アノテータ間でぶれの少ない、ある程度信頼性のあるガイドラインが作成できたことになる。今後、ずれの見られるところを中心に更に検討を重ねていきたい。

## 参照文献

井島正博 (2008)「クライ・ホド・ナンカ・ナンカ・ ナンテの機能と構造」,『日本語学論集』, 4: 4297.

磯山麻衣(2000)「「なんて」の意義と用法」,『昭和女子大学大学院日本文学紀要』,11:1-11

滝理江(2018)「例示の機能をもつ助詞ナンテの意味分析-カテゴリーの観点から-」,『日本認知言語学会論文集』,18:393-405

飛田良文,浅田秀子(1994) 『現代副詞用法辞典』,東京:東京堂出版