# 
より出力されたコードである. 自由回答は品詞付き 形態素を素性番号に変換するが, 同じ形態素であっ ても, 「従業先事業の種類」と「仕事の内容」のどち らに出現したかにより素性番号が異なる.

自動コーディングでは, 第 1 位に予測された結果 に対し, 複数の分類スコア (分離平面からの距離)を 利用し,最も高いレベル A から最も低いレベル $\mathrm{E}$ ま で5段階の「確信度」を付与する. ここで, rank1, rank2 は, それぞれSVMにより第 1 位, 第 2 位に予測され たコードに付随して出力される分類スコアを示す. また, $\alpha, \beta$ は間値で, 2005 年 SSM 調查データセット (12,500 事例) を用いた実験により， $\alpha=3, \beta=0.4$ と した.

A : rank1>=0 かつ rank2 $<0$, rank1-rank2 $>=\alpha$

B : rank1>=0 かつ rank2<0, rank1-rank2< $\alpha$

C : rank $1>=0$ かつ rank $2>=0$

D : rank1<0 かつ rank2 $<0$, rank1-rank $2>=\beta$

E : rank1<0 かつ rank2 $<0$, rank1-rank2 $<\beta$

確信度ごとの正解率 (全事例中, 正解であった事例の占める割合) と出現率 (全事例の中で 該当する 事例が出現した割合）は, 自動コーディングシステ ムが処理した 4 種類の国内・国際標準の職業・産業 コーディングの実験の結果, コーディングの種類や コードの数（約 60 個〜400 個）が異なっていても，安定して「レベル A（約 95\%）>>レベル B（約 70～ $90 \%$ ）>>レベル C>レベル D>>レベル E（約 20\%〜 35\%）」の順で，レベル E は際だって低かった[4].

# 
# 2. 3 情報不足の判定

「回答が情報不足」の場合は正解率が低いと考え,職業コーディングにおいては，「確信度が最も低い レベル」を「確信度レベル $\mathrm{E}$ に限定し, これが付与 された場合を情報不足であると判定する。

## 2.4 追加情報の提示と収集

追加情報の提示は, 次の手順による.

あらかじめ 過去の事例から, 自動コーディング システムが予測した結果が不正解であった場合の正解コードを調査し, 混同されやすいコード対の情報 として「不正解コードー正解コード対応表」を作成 しておく.またこの対応表をもとに，混同しやすい 職業を記述した説明文の事例から, 両者を弁別する
のに有効な語を抽出した「不正解コードー正解コー ド并別語表」も作成しておく.

自動コーディングシステムにより第 1 位に予測さ れたコードが不正解であると想定し，これをキーに

「不正解コードー正解コード対応表」を検索し, 対応する正解コードを見つける. 次に, 正解コードと 不正解コードのペアにより「不正解コードー正解コ 一ド弁別語表」を検索し, 該当するぺアの弁別語を 選択肢として提示する.

図 1 は, 初期回答が自動コーディングにより,コ 一ド「628」(鋳物工、鍛造工、金属材料生成作業者) と予測された場合, 「不正解コードー正解コード対応表」により，対応するコードとして，「633」（一般機械器具組立工・修理工），「677」（電気工事・電話工事作業者）「5503」（機械・電気・化学技術者）を見つけ，「不正解コードー正解コード并別語表」により，「628」とこれらのコードとの弁別語で ある「一般機械」,「電気工事」と「電話工事」,「電気技術者」を選択肢として提示した例である.

今回選択肢として提示する語は, [4]により提案さ れた 4 種類のうち最も有効であった方法を用いたが，提示方法の変更は容易である。

図 1 選択肢提示の例（コード「628」の場合）

この選択肢の中から回答者に 1 個以上を選んでも らい, 初期回答に追加する. その際, 適切な選択肢 がない場合またはある場合でも，追加したい情報が あれば，次画面で自由回答を入力できる。

STEP4 で収集された語を初期回答に追加して STEP2 に戻り, 再度自動コーディングを行う. 今回 の実装では, STEP2への戻りを 1 回のみとしたが，繰 り返しの条件について検討する必要がある.

## 3 実験

今回は対面でデータ収集を行っていないため，提案システムのうち情報不足と判断した際に追加のキ ーワード入力を求める部分の有効性を調查する．調
^{\mathrm{i}}$ 自由回答ではなく選択肢とした理由は，回答空間 を大きくしないためである.
}
查は情報を追加した回答と初期回答に対するコーデ イングの状況の比較により行なう。両者の比較は, コーダだけでなく自動コーディングについても行う。 コーダは C 大学「社会調查法」受講生 6 名 (3 年生）で，事前にコードの定義マニュアル[6]を与え, 1 時間のレクチャーを行ったが，大規模調查でコーダ を務める大学院生や研究者ほどには熟練していない.

今回の実験ではすでに正解が分かっているため,回答者が追加すると思われる情報を選択または入力 したため, 実際より正解率が高くなる可能性がある.

## 3. 1 実験設定

実験では, 訓練事例を 2000 年〜2006 年までの JGSS データセット（計 33,711 事例）, 評価事例を JGSS-2008 データセットのうち, 確信度レベルが E と判定された 201 事例（全体の 7.6\%）とした.

以下では, 初期回答を $\mathrm{A}$, 情報を追加した回答を B とよぶ. 情報の追加は, 事例ごとに正解コードを 参照し, 該当する選択肢が提示された場合はこれを チェックし，ない場合は自由回答を入力する方法で 行った. 評価事例は, 寸べての事例についてデータ セット A とデータセット B の 2 種類を用いた. データセット $\mathrm{A}$ ，データセット $\mathrm{B}$ をそれぞれ 6 つ に分割し, サンプル番号順に A1～A6, B1～B6 と名付け, 各々のデータセットについて 1 名がコーディ ングを担当した. 作業の時間帯を前半と後半に分け,前半は 3 名が $\mathrm{A} 1 \sim \mathrm{A} 3$. 別の 3 名が $\mathrm{B} 1 \sim \mathrm{B} 3$, 後半は 前半で $\mathrm{A}$ を担当した 3 名が B4Ｂ6, B を担当した 3 名が A4～A6 を担当した. この作業をデータセット を変えて 2 回行ったため, どのデータセットも異な る 2 名がコーディングを行ったことになる.

コーダには，事例ごとに，「職業コード」と「スト レス度（「1：ほとんどなし（低）」「2：やや感じ た（中）」「3: 非常に感じた（高）」）」，また「1 つのデータセットを処理した開始時刻と終了時刻」 の記入を依頼した。

評価尺度は，コーダについては，正解率，ストレ ス度，処理時間（分）を用い, 1 回目と 2 回目の平均值で評価する。ただし，今回のコーダは熟練してい ないために, 回を重ねる効果が生じる可能性もあり, 1 回目と 2 回目の比較も行う.

自動コーディングについては, 正解率, 提示機能
の有効性を評価する。提示機能の評価は, Bにおける 正解が，システムが提示した選択肢によるものか，自由回答によるものかを調査する。

## 3.2 実験結果

提案システムは，データセット $\mathrm{A}$ に対する自動コ 一ディングの結果, 各事例に対して平均 2.7 個（最大 7 個，最小 2 個）の選択肢を提示できた ${ }^{\mathrm{ii}}$.

## 3.1.1 コーダの正解率

コーダの正解率は, 表 1 に示すように, データセ ット B では平均 $52.7 \%$ (1 回目 $53.7 \%, 2$ 回目 $51.7 \%$ ) で, データセット $\mathrm{A}$ より平均 16.7 ポイント (1 回目 18.4 ポイント, 2 回目 14.9 ポイント）向上した. 1 回目と比較すると, 2 回目は平均 3.9 ポイント向上して いるが, データセット A は 1.5 ポイント向上, デー タセット B は 2.0 ポイント低下しているため, 2 回目 の効果は考えられず，正解率向上におけるデータセ ット B の有効性が認められる。

表 1 コーダの正解状況（平均） 単位: 事例数

## 3.2. 2 コーダのストレス度

コーダのストレス度は，コーダ自身による評価の ために個人差があるが, 表 2 に示すように, データ セット B で 1 つの事例につき平均 0.25 (1 回目 0.30 , 2 回目 0.19）低下した. 1 回目と比較すると, 2 回目は 平均 0.11/事例低下したが（データセットＡは $0.13 /$事例, データセット B は 0.02 /事例)，データセット 間の違いほど大きくないため, ストレス低下におけ るデータセット B の有効性は認められる.



## 3. 2.3 コーダの処理時間

コーダの処理時間は, データセット B で平均 0.3 分/事例（1回目 0.4 分, 2 回目 0.1 分）短縮された. 1 回目と比較すると, 2 回目は平均 0.2 分/事例ほど短縮され（データセットＡは 1.1 分/事例，データセッ ト B は 0.8 分/事例）, 2 回目の効果とデータセット による効果の違いは 0.1 分 (6 秒) 程度である. 職業 コードは 1 つに絞る必要があるため, 情報が増えた ことで判断に迷った可能性が考えられる.

## 3. 2.4 自動コーディングの正解率

システムの正解率は，表 3 に示すように，データ セット A 49.3\%, データセット B は 58.7\%で，い ずれもコーダより高いが，データセット B で向上し た程度は 9.5 ポイントでコーダの方が高い.

表 3 システムの正解状況

単位: 事例数

## 3. 2.5 提案システムの提示機能

コーダ，自動コーディングのいずれにおいてもデ 一タセット B で正解率が向上したが，これには回答者が追加した自由回答による効果もあるため，提案 システムが適切な選択肢を提示したかどうかを評価 するには，データセット B で追加された情報が選択肢であるのか否かを調査する必要がある. データセ ット B では, 選択肢のみが 97 事例 (うち 8 事例は選択肢のみを 2 個追加），自由回答のみが 95 事例，選択肢と自由回答の両方が 7 事例，どちらも追加なし

（初期回答と変わらず）が 2 事例で，選択肢と自由回答はほぼ同数であった.

この状況と, 自動コーディングとコーダの場合に おける正解状況との関連を報告する。まず，自動コ ーディングにおいては，データセット B で正解であ った 118 事例（表 3）に追加された情報は，表 4 に示 すように，選択肢のみが 51 事例 (43.2\%)，自由回答 のみが 64 事例 (54.2\%)，両方が 3 事例（2.5\%）で，選択肢より自由回答の方がやや多い.

表 4 に追加された情報が選択肢のみか自由回答の みか両方かを, 2 つのデータセットにおける正解／不正解の状況ごとに示す. 同様に, コーダにおける 状況を表 5 に示す.表 4 自動コーディングが正解した場合の追加情報

表 5 コーダが正解した場合の追加情報（平均）

データセット $\mathrm{B}$ に追加する情報を選択肢に限定し た場合の正解率は，提案システムは 41.8\%であるが， コーダは平均 $29.1 \%$ (1 回目と 2 回目がほぼ同じ值) と大きく低下している. 該当する選択肢がない場合 は自由回答で補うことができ，その有効性も示され たが，今後の課題として，選択肢の提示機能を向上 させる改善を行う必要がある.

## 4 おわりに

本稿では。社会調査において収集される自由回答 に分類に必要な情報が含まれているか否かについて，職業コーディングを対象に，機械学習を適用した自動コーディングにより調査現場で判断し，不足する と判定した場合は，侯補の情報をその場で回答者に 提示して追加してもらうシステムを提案した。提案 システムは，コーダにおいても自動コーディングに おいても有効性を示した。

今後の課題は次の 3 つである. 1 つ目は，提案シス テムの改善で，例えば，追加情報収集の終了条件の 設定や選択肢提示機能の向上を行う必要がある. 2 つ目は，提案システムに対する調査員や回答者によ る評価である。しかし，昨今の状況から，調査員が 回答者と対面する現地調査が困難となり，これに代 わるものとして, オンライン調查の研究が進み[7],以前と違って学術調査においても多く利用されるよ らになってきた. 提案システムは，オンライン調査 への対応が容易であると考えられるため, 3 つ目と してこの拡張も検討したい.

## 謝辞

2005 年 SSM 調查データの利用に関して, 2005 年

SSM 調査研究会の許可を得た。

日本版 General Social Surveys (JGSS) は, 大阪商業大学 JGSS 研究センター（文部科学大臣認定日本版総合的社会調査共同研究拠点) が, 東京大学社会科学研究所の協力を受けて実施している研究プロ ジェクトである.

## 参考文献

1. 原純輔, 海野道郎. 社会調査演習. 東京大学出版会, 1984.

2. 轟亮, 杉野勇. 入門 - 社会調查法. 法律文化社, 2010.

3. 社会学における職業・産業コーディング自動化シ ステムの活用. 高橋和子, 多喜弘文, 田辺俊介, 李偉. 自然言語処理, 2017 年, 第 24 巻第 1 号. 135-170. 4. 機械学習を適用した自由回答収集時における有効情報追加システムの構想一職業コーディングを例 として一. 高橋和子. データ分析の理論と応用, 2018 年, 第 7 巻第 1 号. 21-42.

5. 機械学習の適用による社会調査現場での追加情報収集支援システム，高橋和子，奥村学，鈴木泰山，清家大嗣. 言語処理学会第 26 回年次大会論文集, 2020.

6. 1995 年 SSM 調査研究会. SSM 産業分類・職業分類（95 年版）修正版. 1995 年 SSM 調查研究会, 2006. 7. 大隈昇, 鳮真紀子, 井田潤治, 小野裕亮. ウェブ 調查の科学 The Science of Web Surveys 調查計画か ら分析まで. 朝倉書店, 2019.

## A 付録

STEP1 初期回答入力用画面の例画面の質問文とプルダウンで表示される選択肢は, 2025 年 SSM 調査の調査票における「職業情報」と「学歴」を 尋ねる部分を Web 用に作成し直した．入力を完了し「次 に進む」ボタンを押すと，確認画面が表示され，サーバ に送信される。記入漏れがある場合は入力を促すメッセ ージが表示される.

付録図 1 初期画面

付録図 2 ID と雇用形態（「地位」）入力

付録図 3 「従業先の事業」「仕事の内容」入力

付録図 4 従業員数（「従業先の規模」）入力

 \\

付録図 6 「学歴」入力
より出力されたコードである. 自由回答は品詞付き 形態素を素性番号に変換するが, 同じ形態素であっ ても, 「従業先事業の種類」と「仕事の内容」のどち らに出現したかにより素性番号が異なる.  自動コーディングでは, 第 1 位に予測された結果 に対し, 複数の分類スコア (分離平面からの距離)を 利用し,最も高いレベル A から最も低いレベル $\mathrm{E}$ ま で5段階の「確信度」を付与する. ここで, rank1, rank2 は, それぞれSVMにより第 1 位, 第 2 位に予測され たコードに付随して出力される分類スコアを示す. また, $\alpha, \beta$ は間値で, 2005 年 SSM 調查データセット (12,500 事例) を用いた実験により， $\alpha=3, \beta=0.4$ と した.  A : rank1>=0 かつ rank2 $<0$, rank1-rank2 $>=\alpha$  B : rank1>=0 かつ rank2<0, rank1-rank2< $\alpha$  C : rank $1>=0$ かつ rank $2>=0$  D : rank1<0 かつ rank2 $<0$, rank1-rank $2>=\beta$  E : rank1<0 かつ rank2 $<0$, rank1-rank2 $<\beta$  確信度ごとの正解率 (全事例中, 正解であった事例の占める割合) と出現率 (全事例の中で 該当する 事例が出現した割合）は, 自動コーディングシステ ムが処理した 4 種類の国内・国際標準の職業・産業 コーディングの実験の結果, コーディングの種類や コードの数（約 60 個〜400 個）が異なっていても，安定して「レベル A（約 95\%）>>レベル B（約 70～ $90 \%$ ）>>レベル C>レベル D>>レベル E（約 20\%〜 35\%）」の順で，レベル E は際だって低かった[4].  