# クラウドソーシングと自然言語処理による安価な UX 評価の実現

小川健太郎 奥川真理子 加藤晃子
ヤフー株式会社
\{keogawa, mokugawa, akkato\}@yahoo-corp. jp

## 概要

自然言語処理の技術革新が加速している一方で,自然言語処理技術のサービス適用には，専門知識を 持った技術者と, 高い処理能力を有する計算機資源 が必要になる.そのため「導入したくても導入でき ない」，「導入しても自分たちで運用できない」と いう企業や組織も多いのが実情である.

我々はこの問題をクラウドソーシングと既存ツー ルのシンプルな組み合わせで解決した.本稿では「AI リテラシの高くない組織が簡便かつ安価に自然言語処理技術を導入し業務効率化を達成」した事例とそ の実現プロセスを紹介する。

## 1 背景

100 以上のサービスをもつヤフーでは，サービス 品質の維持・向上への取り組みが必要となるため,品質評価部門が自社の「Yahoo!クラウドソーシング」 [1]を利用してUX (User Experience) 評価のスキ ームを構築した. 本章では, このUX 評価の概要と,運用上の課題について述べる.

## 1. $1 \mathrm{UX$ 評価とは}

UX 評価は Yahoo!クラウドソーシングで実施する アンケートがベースとなる．実施の流れは，クラウ ドソーシングに UX 評価のアンケートを入稿すると ころから始まる. アンケートはサービスの使い勝手 や，信頼性などを選択肢から選ぶ選択式の設問と， サービスの良い点や改善すべき点を自由にコメント する自由記述式の設問（図 1）の大きく2つある。

図 1 自由記述式の設問
アンケートは評価対象となるサービスを実際に利用しているユーザーにメールで配信される。

アンケート終了後, 品質評価部門において結果を 集計し，考察とともにサービス担当者にフィードバ ックされる。なお，自由記述式の回答については，後述寸る「UXピラミッド」を用いて評価する.

## 1. 2 UX ピラミッドとは

UX ピラミッドは 1940 年に提唱されたアブラハ ム・マズローの欲求階層説を基にアーロン・ウォル ターがヒエラルキーを厳密に反映したユーザーニー ズのヒエラルキーについて説明したものである[2].

図 $2 \mathbf{U X}$ ピラミッドと UX の定義

UX ピラミッドでは, より基本的なニーズ（機能性や使いやすさなど）が満たされた後にのみ，優れ たニーズ（ピラミッドの最上部にある喜びや価値な ど）を達成できるとしている(図 2).

ピラミッドのレベル 1 から 3 は, 目的のタスク を達成するユーザーの能力, レベル 4 から 6 では, サービスを使用する際のユーザーエクスペリエンス に焦点を当ており，一般的にユーザー体験のクオリ ティを測る方法として用いられている.

品質評価部門ではこのレベルをさらに 11 個の項目に細分化し，クラウドソーシングで収集したコメ ントと紐づけて傾向を分析. これにより, サービス の強みと課題を明らかにし, サービス品質向上のた めに役立てられている。

## 1.3 現状の課題

UX 評価の運用において，品質評価部門では大き く以下 2 つ課題を抱えていた.

課題 1 : 人手でコメントを分類するのに多大な 工数が掛かっている

課題 2 ：自動化には自然言語処理に対する専門知識と高スペックな開発環境が必要

「課題 1 」に関しては，現状，品質評価部門が手作業でコメントを分類しているため 1 サービスにつ き 2 日（約 16 時間）の作業工数が掛かっている.

「課題 2 」に関しては, 記載の通り, 品質評価部門に専門知識を有する技術者はおらず，分類を自動化するツールの開発は困難な状況であった。

そこで, 品質評価部門は, ヤフー社内でデータサ イエンスの導入支援を担う我々のチームと連携し，解決策を検討していくことになった.

解決策の策定にあたり, あらかじめ両者で以下の 要件を満たすことを条件とした。

要件 1 : 現状より分類に掛かる工数が減ること

要件 2 : 素人でも機械学習モデルの利用がしや すいライトな枠組みであること

## 2 提案手法

まず，我々が着目したのは，これまでのUX 評価 の運用で既に「手作業で分類したデータ」が蓄積さ れていたこと. 我々はこれを学習データとしてコメ ント分類モデルの構築を試みた。

## 2.1 学習データの特徴

クラウドソーシングで得られるコメントは「端的 なコメントが多い」といった特徴があげられる.

例えば，Yahoo!ニュースの場合は以下のようなコ メントが寄せられることが多い.

例）・見出しがわかりやすい

・ニュースの更新頻度が高くて良い

・ユーザーが投稿するコメントが楽しい

図 3 は各アプリマーケットとクラウドソーシング に投稿された Yahoo!ニュースアプリに対するレビ ユーコメントの中から直近の投稿 200 件を抽出し文字数の分布を可視化した結果である. コメントの平均文字数は App Store(Apple)は 54 文字, Google Play は 47 文字であるのに対し，クラウドソーシングは 20 文字と全体的に少ない傾向であった. なお, 集計 するうえで「不真面目な回答」[3] は除外している.

図 3 レビューの文字数（Yahoo!ニュース）

## 2.2 fastText $の$ 利用

コメント分類モデル構築においては，「ライトな 枠組み」という要件を鑑み，主に導入容易性の観点 から自然言語処理ライブラリ「fastText」[4]を使用し た.

## 2.3 コメント分類の流れ

今回は図 4 で示す 5 つのプロセスでコメント分類 モデルを構築した。以下，順を追って説明する。

図 4 コメント分類モデルの構築の流れ

## (1) 手作業でのコメント分類

前述の通り，既に「手作業で分類したデータ」が 手元にある状態であったが，内容を見るとかなり不均衡なデータであった（図 5). 特に「08. 継続利用」 や「11.ないと困る」に分類されるコメントが少なか った。これらを補うため, 品質評価部門とともに新 たなコメントを作成し, 学習データに追加した. 最終的に 5, 426 件の「手作業で分類したデータ」が準備できた。

図 5 コメント分類ごとの分布

## (2) 学習データの形式に置換

「手作業で分類したデータ」を fastText の学習デ 一夕の形式に置換する。具体的には項目名を先頭に 配置し「_label_」というプレフィックスを付与寸 るのみであるため, 専門知識を持たない品質評価部門も容易に学習データを作成することができた。

## (3) 素性抽出

形態素解析エンジン「 $\mathrm{MeCab} 」[5]$ を利用して, コ メントから素性を抽出. 当初「動詞」「形容詞」「名詞」の 3 品詞の形態素のみを対象としていたが, 「使 いやすい」で「使い」のみが，「○○できない」で 「○○」と「でき」のみが抽出されてしまうなど, ユーザーの感じ方が得られにくい状況となっていた。解決策として「接尾辞」も対象とし, 「使いやす い」「○○ できない」といったニュアンスを抜 き出せるよう工夫した.

## (4) モデリングと評価

上述の通り，自然言語処理ライブラリ「fastText」 と手作業で分類した 5,426 件のデータを用いてコメ ント分類モデルを作成. データのうち 8 割 $(4,340$件）を学習に，2 割（1,086 件）を評価に利用した。今回はクロスバリデーションを実施せず，不均衡な 学習データと同等の構成比率となる評価データを用意し, できるだけ全項目の分類を過不足なく精度評価できるよう考慮した。

図 6 Confusion matrix と各種指標値

モデルの評価には Confusion_matrix を用いて, 俯瞰的に分類項目ごとの精度を把握したうえで， accuracy や precision, recall といった機械学習モデル の一般的な評価指標値を確認した（図 6）.

Confusion matrix の縦と横の軸に付与された数字 は項目番号を示し，「1」であれば「01.目的達成」 というように対応付けている。「縦 0 : 横 0 」,

「縦 1 : 横 1」というように，対角線上の数字が大 きな值になる傾向であり，つまりは全体として概ね 分類に成功している事がうかがえる.

また，指標値を見ると，項目ごとに分類の得意不得意はあるものの, 全体的な accuracy, precision， recall の值はいずれも 0.7 程度と, ランダムに分類分けした場合の正解率 $1 / 12=0.08$ と照らせば，まず まずの分類精度を示しているといえる。

次に, 文書ベクトルを T-SNE で次元削減し散布図としてプロット。機械学習モデルが各項目を切り 分けやすい状況かを可視化した（図 7）.

図 $7 \mathrm{t}$-SNE での可視化

図 7 より, どの項目にも該当しない「除外」を含 めた全 12 項目が概ね分離できていることから，ク ラウドソーシングで得られたテキスト群は, 機械学習モデルが分類しやすい傾向にあると考えられる。

## (5) 本番データへの適用

今回のモデルは分類精度が 7 割程度であったこと から, 改めて関係者間で「分類モデルの出力は完璧 ではなく，あくまで予測値である」ことを共有. 予測が外れているものは担当者が手作業で修正すると いうハイブリットな運用となるが，分類モデルのア ウトプットに分類結果とあわせて予測確率を出力す

ることで, どの分類が誤っている可能性が高く, 重点的に目視でチェックしなければならないか，担当者が示唆を得られるように工夫した。

図 8 分類結果のアウトプット形式

## 4 効果

構築した分類モデルの評価は良好であったため, それを UX 評価の運用へ導入. 品質評価部門の担当者の手作業による運用と，分類モデルを用いた運用 を並走させ，導入効果を検証することとした。

効果検証は主に以下 2 つの観点で行われた。

検証 1 : 担当者の分類と本モデルの分類がどれ だけ一致しているか

検証 2 : 本モデルを導入することでどれだけ作業工数を減らせるか

## 4.1 効果検証結果

効果検証の結果は表 1 の示す通りとなった.

表 1 モデル導入の効果検証結果

$\left.\begin{array}{|c|c|}\hline \multicolumn{1}{|c|}{\text { 評価指標 }} & \text { 評価値 } \\ \hline \text { 担当者の分類と本モデルの分類の一致率 } & \mathbf{7 1 \%} \text { 一致 } \\ \text { (1,220 件の本番データを使い一致率を算出) }\end{array}\right)$

分類精度, 削減工数ともに良好であり, さらに定性評価では担当者より長所として以下の点が挙げら れた。

モデルを品質評価部門が自ら運用できそう

「予測確率」を使うと分類の補正が捗る

「人手で補正したデータ」を使ってモデルを 再学習することで精度向上も見込める なお,一致率 $71 \%$ の内訳は「付録 $\mathrm{A}$ にに掲載する。

## 4.2 費用対効果

今回のコメント分類モデルの開発に掛かった工数 は約 20 時間である. 分類モデルを通じて 1 回あた りの作業工数を 11 時間削減できた事から, 単純計算で本モデルを 2 回稼働させれば，開発工数はペイ できることになるため，コストパフォーマンスの観点で見ても優れた施策であると言える.

一方で，機械学習モデルを導入せずともクラウド
ソーシングを使って分類した方が低コストかつ高精度に分類できるのではないかという疑問がわく。

そこで我々は，機械学習モデルで分類したコメン トとまったく同じコメントをクラウドソーシングで ワーカーに分類を依頼することとした（図9）。

コメント 1 件につき優良なワーカー 10 人に分類 させ，多数決で正解を 1 つに決定する方針とした.

## 下記はコメントの分類表と「Yahoo!ニュース」の良い点に関するコメントです。

コメントを読んで、分類表のどの項目に一番当てはまるかを判定してくださり

 &  \\

コメント |タイムリーなニュースを見る事が出来る

図 9 クラウドソーシングのコメント分類タスク 結論から述べると，担当者の分類とクラウドソ ーシングの分類の一致率は $56 \%$ と, 機械学習モ デルの分類よりも劣る結果となった（表 2）.

表 2 担当者の分類との一致率

そもそも，この分類作業は UX の知見を有する担当者でも正確な分類は難しく, 今回のクラウドソー シングの作業結果を見ても，ワーカーの分類が分散 し多数決が成立しないケースが散見された。

このような専門的な観点でのコメント分類はエキ スパートの作業を機械学習モデルに学習させるアプ ローチをとった方が効果を得られやすいと言える。

## 5 おわりに

fastText は「学習が速い・精度が良い・導入がし やすい」といった特長があるが，今回の取り組みを 通じて「関係者との意思疎通も高速化できる」とい う特長があると実感した。関係者への説明がしやす いことから，学習データ作成を分担する等の協力体制も築きやすく，推論や再学習方法の引継ぎも比較的容易であった. fastText は高精度な自然言語処理 を安価かつスピーディーに業務に導入したいという ケースに適した手段であると言えよう。

## 参考文献

1. Yahoo!クラウドソーシング.

https://crowdsourcing.yahoo.co.jp/

2. Aarron Walter. Designing for Emotion. 2011.

3. 山﨑 郁未, 伊藤 理紗, 中村 聡史, 小松 孝徳. Webアンケートにおける不真面目回答予防シス テム実現に向けた自由記述配置の基礎検討, 情報処理学会 研究報告ヒューマンコンピュータ インタラクション（HCI）, Vol.2021-HCI-195, No.34, pp.1-8, 2021.

4. fastText. https://fastText.cc/

5. MeCab. Yet Another Part-of-Speech and Morphological Analyzer.

https://taku910.github.io/mecab/

## 付録 $\mathrm{A$. 効果検証の一致率の内訳}

本文「4.1 効果検証結果」で述べた「担当者の分類と本モデルの分類の一致率 : $71 \% 」 の$ 内訳は以下「表 3」の通りであった。全体的に「図 6」と同じ 傾向であり，本番データにおいてもモデル開発時と 同等の分類精度であった。

表 3 担当者の分類と本モデルの分類の一致率

 &  &  &  \\

## 付録 B. 安価な施策

## 付録 B. 1 Yahoo!クララウドソーシング

クラウドソーシングとは「crowd=群衆」と 「sourcing=委託」からなる造語であり，インターネ ットを通じて企業が不特定多数の人々に仕事を依頼 できるプラットフォームの事を言う.

Yahoo!クラウドソーシングはアンケートや簡易な アノテーションなど誰でも実施可能な「マイクロタ スク」に特化したサービスとなっており，ユーザー はタスクを実施することで, PayPay ポイントが獲得 できる（図 10）.

図 12 Yahoo!クララウドソーシングの概要

1 サンプル当たりの費用は 10 円ほどであり，例え ば 1,000 人に対してアンケートを実施した際に掛か る費用は 1 万円となり「安価なリサーチツール」と 言えるだろう。

## 付録 B. 2 機械学習モデルの開発環境

$
\text { ヤフーには「AI プラットフォーム」と呼ばれる } \mathrm{AI} ・
$
機械学習の開発環境がある。これは, Google Cloud Platform の AI Platform Notebooks のような， マネー ジド型の JupyterLab 環境であり，ヤフーの社員であ れば誰でも簡単にブラウザから python のコーディ ングと実行が行える。一般的に, AI や機械学習モデ ルの開発には, サーバーのリソース管理,環境構築, サーバメンテナンス, データアクセスのための準備等に時間と手間がかかるが, AI プラットフォームは 利用者がこれらを意識することなく, 本来注力する べき AI や機械学習モデルの精度向上やサービス改善業務に注力できる.

GPU の利用も可能であるが，今回は GPU を利用 せずに fastText の学習を完了. 学習は 1 分足らずで 完了したことからも「安価な開発環境」で開発でき たソリューションであると言えるだろう。
 小川健太郎 奥川真理子 加藤晃子 ヤフー株式会社 \{keogawa, mokugawa, akkato\}@yahoo-corp. jp  