# 社会学における職業・産業コーディング自動化システムの活用

高橋 和子†・多喜 弘文 ${ }^{\dagger \dagger}$ ・田辺 俊介计・李偉 ${ }^{+\dagger \dagger}$

社会学では, 職業や産業は性別や年齢などと同様に重要な変数であるとの認識から,正確を期するために，自由回答で収集したデー夕を研究者自身によりコードに変換 することが多い. これは職業・産業コーディングとよばれるが，大規模調査の場合，膨大な労力と時間がかかる上に, 結果における一貫性の問題も存在する。そこで, ルールベース手法と機械学習 (SVM) を適用したコーディング自動化システムを開発した，本システムは，国内・国際標準の職業・産業コードを第 3 位まで予測し, 第 1 位の予測コードには, 自動コーディング後に人手によるチェックが必要か否かの 目安となる 3 段階の確信度も付与する. 現在, 本システムは, 東京大学社会科学研究所附属社会調査・データアーカイブ研究センター (CSRDA) から Webによる利用 サービスが試行提供されており，研究目的であれば，たれもが指定された形式の入 カファイルをアップロードして, 希望するコードに変換された結果ファイルをダウ ンロードすることができるようになっている.

キーワード：社会調査, 職業・産業コーディング, 自動コーディングシステム, 3 段階の確信度, Webを通じた一般公開
## An Automatic Occupation and Industry Coding System in Sociology

Kazuko Takahashi ${ }^{\dagger}$, Hirofumi Taki ${ }^{\dagger \dagger}$, Shunsuke Tanabe ${ }^{\dagger \dagger \dagger}$ and Li WeI ${ }^{\dagger \dagger \dagger \dagger}$

In sociology, occupation and industry variables are as important as sexual and age variables. For the purpose of statistical processing, answers collected from open-ended questions in social surveys need to be converted into code, which requires considerable time and effort and often results in inconsistencies in large scale surveys. This work deals with occupation and industry coding. In this work, we develop an automatic system using hand-crafted rules and Support Vector Machines. Our system can assign three candidate codes to an answer and estimates the confidence level of the primary predicted code for each national/international standard code sets. The system has now been released through the website of the Center for Social Research and Data Archives. The user can get the required coding result by uploading the data file in a specific format.

Key Words: Social Surveys, Occupation and Industry Coding, Automaic Coding System, Three Grade Confidence Level, Open to the Public through the Website


## 1 はじめに

社会学においては，職業や産業デー夕は性別や年齢などと同様に重要な属性であり，正確を期する必要がある。このため，国勢調査でも行われているように，自由回答で収集したものを研究者自身が職業・産業分類コードに変換する場合が多い (原 1984).この作業は「職業・産業コーディング」とよばれるが，国内の社会学において標準的に用いられる職業コード（SSM 職業小分類コード）は約 200 個，産業コード（SSM 産業大分類コード）は約 20 個あり (1995 年 SSM 調査研究会 1995), 分類すべきクラスの数が非常に多く, コード化のルールも複雑なことから, 特に大規模調査の場合は多大な労力や時間を要するという染刻な問題を抱えている (盛山 2004). また, 多人数で長期間にわたる作業となるため, コーディング結果における一貫性の問題も指摘されている (䡛, 杉野 2013). そこで, これらの問題を軽減する目的で, 職業・産業コーディングを自動化するシステムの開発を行ってきた.

最初に開発したシステムは，SSM 職業・産業分類コードを決定するルールを生成し，これに基づいて自動コーディングを行った結果を CSV 形式のファイルにするもので (高橋 2000)，主として大規模調査に利用された (高橋 2002b, 2003; 高橋，須山，村山，高村，奥村 2005a)，その後，自動コーディングの精度向上のため，自動化のアルゴリズムを，文書分類において分類性能の高さで評価されている機械学習のサポートベクターマシン (SVM) (Joachims 1998; Sebastiani 2002)とルールベース手法を組み合わせた手法に改良した (Takahashi, Takamura, and Okumura 2005; 高橋, 高村, 奥村 2005b). また, 社会学を取り巻く環境の変化に対応するために，ILOにより定められた国際標準コードに変換するシステムも開発した (高橋 2008, 2011). さらに，いずれのシステムにも，自動コーディングの結果に対してシステムの確信度を付与する機能を追加した (高橋, 田辺, 吉田, 魏, 李 2013a). この結果, 自動化システムは職業・産業コーディングにおける前述の 2 つの問題解決に大きく貢献するものとして, 社会調査分野において評価を得た (原 2013).

自動化システムはまた，職業・産業コーディングの実施方法も変えた，以前は，コーダは調査票を見ながらコーディングを行い，その結果を調査票に書き入れていた。しかし，システムの開発以降，依頼者が作成したデータファイルを開発者が事前に処理し，コーダはその結果付きのファイルを画面に表示してコーディングを行い，結果を入力するようになった. この方法は，自動化システムを利用する場合の標準的な方法となった.

現在, 自動化システムは整理統合され, 東京大学社会科学研究所附属社会調査・データアー カイブ研究センター (CSRDA) から， Webを通じた利用サービスとして試行提供されている1 (Takahashi, Taki, Tanabe, and Li 2014). 利用希望者は, 自動コーディングを希望するコードの
^{1}$ http://csrda.iss.u-tokyo.ac.jp/joint/autocode/
}
種類を明記した書類を CSRDA に申請し，受理されれば，所定の形式の入力ファイルを指定された場所にアップロードすることができ，その場所から，CSRDAのシステム運用担当者が処理した結果をダウンロードできる仕組みとなっている。これにより，一般の研究者や研究グルー プが開発者を通すことなく，自由にシステムを利用することができるようになった．

海外においても職業・産業コーディングは実施されており，負担の大きい作業であるとの認識から，コンピュータによる支援方法が検討されている。しかし，単なる単語のマッチング以外のものは，韓国と米国における 2 例のみである。いずれもルールベース手法が中心で，機械学習は適用されていない。また，以上に述べた自動化システムと大きく異なるのは，職業や産業コードそのものを重要な変数として分析に用いる社会学の研究を支援するものではない点である。

本稿では，現在公開中の自動化システム（以下，本システムと略す）について報告する。本システムにおける新規性は次の 3 つである.
- 分類精度向上のために, ルールベース手法と機械学習の組み合わせ手法の適用

・コーダの作業負担軽減のため, 第 1 位に予測された候補に対する確信度を付与

・国内標準コードだけでなく，近年利用が高まっている国際標準コードにも対応

本システムは，CSRDAに置かれたのを機に，だれもが容易に操作することができるように， ユーザーインターフェイスを改良した。これは，システムの運用担当者が社会学研究者であることと，短期間で交代する状況を考慮したためである。

以下では，最初に自動化システムのこれまでの変遷について補足説明を行った後，本システムについて述べる，そこでは，実際に本システムを利用する社会学研究者による評価も報告する。また，CSRDAにおける本システムの利用方法についても述べる.

## 2 自動化システムの変遷

1節で述べたように, 自動化システムは開発当初とはアルゴリズムを変え, 国際標準コードへの変換も行うようになった。国際標準の職業コードは, ISCO (International Standard Classification of Occupations) ${ }^{2}$, 産業コードは ISIC (International Standard Industrial Classification of All Economic Activities $)^{3}$ で，いずれもSSM コードとはコード体系が異なり，4桁の階層構造で， SSM コードより分類クラスの個数が多い．新規にシステムを開発した理由は，SSMコードはもともと 1968 年版の国際標準コードを源とするが，1988 年の国際標準コードの大幅な改訂により両者の対応関係が複雑化し，変換表の作成が困難であると判断したためである (田辺 2006).
^{3} \mathrm{http} / /$ laborsta.ilo.org/applv8/data/isic3e.html
}

これにより，個々に独立したシステムではあるが，国内標準コードと国際標準コードに対する自動コーディングが可能となった.

自動化システムを利用すれば，コーダは提示されたコードを参考にコーディングを行うことができる。このため，特に初心者のコーダに対する有効性が評価され，国内の代表的な社会調査において利用が広がった。例えば，我が国初の二次分析のための大規模調査 JGSS（Japanese General Social Surveys ; 日本版総合的社会調査） 4 においては, 初回の 2000 年以降, 毎回利用されてきた (高橋 $2002 \mathrm{~b}, 2003$; 高橋他 2005a; 高橋 2011).また, 10 年ごとに実施される SSM (Social Stratification and socila Mobility) 調査（社会階層と社会移動全国調查）においても，2005

自動化システムの利用によりコーダの作業は楽になったが, 熟練コーダがすべてのコーディング結果に対して再チェックを行って最終コード（正解）を決定する状況は変わらなかった. そこで, 熟練コーダの作業量についても軽減できるように, 自動コーディングの結果に対して,人手によるコーディングが必要かどうかを示す目安として， 3 段階 (A: 不要, B: できれば行う方がよい，C: 必要）の確信度を付与する機能の追加を行った (高橋他 2013a). この確信度は,一般のコーダが自動コーディングの結果を参考にする場合の判断基準としても有用であると考えられる。

自動化システムは開発以来, 大規模調查での利用が多かった. しかし, 近年は, 一般の研究者や研究グループからも利用の要請が増えてきたため, Webを通じてだれもが自由に利用できる仕組みの検討を始めた (高橋, 田辺, 吉田, 魏, 李 $2013 \mathrm{~b}$ ). その際, 利用者の多くが文系の研究者であることや, システムの稼働環境がやや複雑であることから, 利用者自身がシステムをダウンロードして用いるのではなく，入力データのファイルをアップロードしたものをシステ么運用担当者が処理する方法を想定した。また，システムの運用業務についても，開発者以外のだれもが担当できるように改良する必要があると判断した。これらの課題を解決し, CSRDA から公開されているものが本システムである.

## 3 職業・産業コーディング自動化システム

## 3.1 職業・産業コーディング

最初に，職業・産業コーディングが対象とする質問と回答について具体的に説明する.
^{4}$ http://jgss.daishodai.ac.jp/surveys/sur_top.html

5 http://www.l.u-tokyo.ac.jp/2015SSM-PJ/index.html

6 SSM 調査は大規模である上に，社会学の中でも職業や産業データがとりわけ重要な役割を果たす階層移動研究の調査で, 本人の初職から現職にいたるまでの職業や産業の履歴に加え, 配偶者, 父親, 母親についても収集されるため, 作業量の問題は重大である。例えば 2015SSM 調査の場合, コーディングを行う事例は約 60,000 にのぼっている.
}
表 1 質問文の例と回答の形式（JGSS の場合）

 &  & 自由回答 \\

職業・産業コーディングは, 自由回答である「仕事の内容」(職業の場合) または「従業先の事業内容」(産業) を中心に, 選択回答である「従業上の地位・役職」, 「従業先の事業規模」から構成される質問群により収集される回答に対して実施される (1995 年 SSM 調査研究会 1996).質問文は調査により多少異なるが，JGSS における質問文と回答の形式を表 1 に示す (大阪商業大学比較地域研究所・東京大学社会科学研究所 2005) ${ }^{7}$. 表 1 における選択回答の選択肢は注に示す通りである8.

職業・産業コーディングの例として，「仕事の内容」が「配車等を手配」，「従業先の事業内容」 が「荷物をつみおろす業務等」,「従業上の地位・役職」が「2」,「従業先の事業規模」が「8」であるようなデータの場合, SSM 職業コードは「563」(運輸事務員) が付与され (高橋他 2005b), SSM 産業コードは「80」(運輸業) が付与される。なお, 社会学においては職業と産業の両方をコーディングする場合が多いが，産業のデータ（「従業先の事業内容」「従業先の事業規模」） が収集されず，職業コーディングのみ実施される場合もある。このような場合，本システムは， それぞれを「無回答」「13」とした入力ファイルにより処理を行う。


## 3.2 変換を行うコードの種類

職業・産業コーディングにおいて本システムが変換するコードは, 表 2 に示す 4 種類で, いずれも現在の社会学で必要性が高いものである ${ }^{9}$. 特に, SSM 職業コードは, 初回の 1955 年 SSM 調査以来，社会学における標準的なコードとして用いられている．表 2 に示す小分類コードの上位には 16 の大分類がある (表 3 参照). 社会学の研究では, この大分類または 4.2 節で述べる別の種類の大分類レベルに小分類コードを統合して分析する場合が多い.

SSM コードは 1995 年に改定されて以来，コード体系は変えていないが，職業や産業を取り巻く環境の変化を反映するために，新規のコードが追加されている．例えば，SSM 職業コードは，1995 年調査で用いられた 189 個（表 3 参照）が基本であるが，2005 年 SSM 調查では既存のコードから 700 番台のコードを分化させ $10 ， 2015 \mathrm{SSM}$ 調査では 800 番台のコードを分化させた ${ }^{11}$. 国内の社会学では SSM 調査や JGSS で用いられるコードに倣うことが多いため, 本システムでも 2005SSM 調査に合わせ，表 3 に示したコードに 700 番台のコードを追加した 193 個の

表 2 変換するコードの種類と個数

} & SSM 職業コード (小分類) & 約 200 & 1995 年版 (1995 年 SSM 調査研究会 1995) を基本 \\
\cline { 1 - 3 }  & ISCO (小産業コード (大分類) & 約 20 & とする \\
\cline { 2 - 4 } コー類) & 約 400 & ISCO-88 (階層構造 4 桁をすべて利用) \\

表 3 SSM 職業コードにおける大分類と小分類の対応



コードに分類する。コードの分化は SSM 産業コードにおいても行われている ${ }^{12}$.

## 3.3 入カファイルと結果ファイルの形式

入力データは, $\mathrm{A}$ 列から $\mathrm{F}$ 列までの各列がこの順に,「ID」「学歴」「従業上の地位・役職」「従業先の事業内容」「仕事の内容」「従業先の事業規模」である CSV 形式のファイルである（表 4 参照)。学歴は選択肢で収集される ${ }^{13}$.

利用者は，この形式のファイルを用意すれば，表 2 に示す 4 種類のコードのうち希望するコー ドを最大 4 種類まで自由に選択できる。入力ファイルの作成方法については， CSRDAの Web サイト ${ }^{14}$ に詳細な説明が掲載されている。

本システムでは，過去の調査等ですでにSSM コードが付与された事例に対し，このコードを利用して新たに ISCO や ISIC を付与することも可能である。このため，表 4 に示した入力ファイルの右列に「付与ずみのSSM コード」を追加したものも受け付ける，例えば，ISCO を希望する場合は G 列に SSM 職業コード, ISIC を希望する場合は H 列に SSM 産業コードを入力すれば， 3.7 節で述べるように，システムはこのSSM コードを利用して処理を行う。

本システムでは, 結果ファイルとして, 第 3 位までに予測したコードを提示した CSV 形式のファイルをコードの種類ごとに出力する（表 5 参照），表 5 において, rank1, rank2, rank3 はそれぞれ「第 1 位に予測されたコード」「第 2 位に予測されたコード」「第 3 位に予測されたコー ド」を意味する。また，確信度は，システムが第 1 位に予測したコードに対する信頼度で，本システムでは，「A: 人手によるコーディングは不要， B: できれば人手によるコーディングを行う方がよい， C: 人手によるコーディングが必要」の 3 段階を出力する．確信度については 3.8 節で説明する。

表 4 入力ファイルの例


表 5 結果ファイルの例（SSM 職業コードの場合）

図 1 操作画面（開始時）

図 2 操作画面 (入力ファイルとコードを指定)

## 3.4 操作用の画面

図 1 は，本システムを稼働させたときに最初に表示される操作用画面である。実行を開始するには，この画面上で入力ファイルを指定し，変換を希望するコードのチェックボックスをクリックした後，Run ボタンを押せばよい，図 2 は，SSM 職業コードとISCO を選択した場合の例である.

本システムは，図 2 に示すように，実行開始までは人間が操作するが，これ以降は結果ファイルを出力するまですべて人手を介さずにコンピュータが自動的に処理をする．結果ファイルは, SSM 職業コード, ISCO, SSM 産業コード, ISIC の順に作成する。例えば, 図 2 の場合は, SSM 職業コードの結果ファイルを作成後, ISCO の結果ファイルを作成して処理を完了する．途中の処理状況は画面に表示される。その一部を図 3 , 図 4 に示す.

## 3.5 システム構成図と自動化の手法

本システムの構成を図 5 に示す。図 5 より明らかなように，本システムでは，すべてのコー ドに対して，直接または間接的にルールベース手法とSVM を組み合わせた手法を適用する.

直接的にルールベース手法と SVM を組み合わせる手法は SSM コードに適用するもので, ルー ルベース手法により決定されたコードを直接，SVM の素性として利用する．ISCOとISICにはルールベース手法がないためにこの手法は適用せず, SVM の素性として, ルールベース手法と SVM を組み合わせた手法により予測されたSSM コードを利用する。このため, ISCO や ISIC

図 3 処理状況の表示（ISCO 処理中）

図 4 処理状況の表示（処理完了）

図 5 システム構成図

も間接的にルールベース手法と SVM を組み合わせた手法を適用している。たたし，例外として図 5 には示していないが，過去の調査等ですでにSSM コードが付与された事例に ISCO や ISIC を付与する場合はこのコードを利用するため，ルールベース手法の適用は行わない.

自動化の手法について, 次節でルールベース手法 (高橋 2000)について述べた後, 3.7 節でこれをSVM に組み合わせる方法 (高橋他 2005b) について述べる。

## 3.6 ルールベース手法

## 3.6.1 格フレームの概念による職業・産業データの理解

職業・産業コーディングにおいて最も重要な情報は, 自由回答の記述内容である。職業コー ドや産業コードの定義 (1995 年 SSM 調査研究会 1995) から, 職業デー夕は個人, 産業デー夕は
従業先の事業という違いはあるが，いずれも基本的には動作の違いにより大きく分かれ，さらに，その動作が何を対象とするのか，どこで行われるのかにより細かく分類されると解釈できる。したがって，本システムでは自由回答に記述された内容すべてを解析せず，分類に必要なものとして，「格フレーム」の概念に基づく情報のみを抽出する。

最初に, 入力ファイル中の自由回答に対して形態素解析 (黑橋, 長尾 1998) を行う. その結果から，職業・産業コーディングにおいて不要であると判断できる語を削除する。具体的には，品詞が「形容詞」、「副詞」,「接頭辞」,「接尾辞」である語および原形が「等」,「他」，「関係」，「仕事」,「作業」などの語（118 種類）である。

次に，動作を表す語（本稿ではこれを「述語」とよぶ）を抽出するが，本システムでは構文解析を行わずに，単純に回答の末尾にある語を述語とする。このため，本システムでは，動詞だけでなく, サ変名詞や普通名詞も述語として扱われる ${ }^{15}$.

以下では，職業を例に述べる。述語には，述語だけでSSM 職業コードが決定できるものと，述語が必要とする格とその格が取る語（本稿ではこれを「名詞」とよぶ）が必要なものがある.

前者の例は, 「薬剂師」や「栄養士」のような職業名が多く, 述語のみでSSM 職業コード「510」 （薬剤師）や「513」（栄養士）が付与される。後者の例は，「製造」や「教える」で，それぞれ 「何を」や「どこで」の内容により SSM 職業コードが異なるため，格と名詞が必要となる。この場合，述語の前に助詞（「を」や「で」）があれば，これを手がかりにして名詞を抽出し，く述語，格，名詞>の三つ組を生成する，例えば，述語が「製造」の場合，述語の前に助詞「を」 があればこれを抽出した後，「を」の直前にある名詞も抽出する，同様に，「教える」の場合は，述語の前に助詞「で」があればこれを抽出し，「で」の直前にある名詞も抽出する．本システムでは，前者の場合も，格と名詞を抽出する必要のない三つ組として扱う．

本システムは，回答から複数の述語が抽出されたり，回答の途中に「。」があると，複数の文 （単語のみの場合もある）が存在すると判断し，各文に対してそれぞれ三つ組を生成する。例えば，「仕事の内容」が「野菜の生産と販売」や「野菜を生産する。販売もする」である場合，いずれも，最初の文からは<生産， ヨ，野菜>，2つめの文からは<販売>なる三つ組を生成する。また，1文であっても，「米や野菜を作っている」のように，複数の名詞が並列で表現されている場合には，〈作る， ヨ，野菜 $>$, ＜作る， ヨ，米>のように複数の三つ組を生成する.

最後に，このようにして生成された三つ組に対し，あらかじめ三つ組と職業コードのぺアにより構築しておいたルールセットを探し，マッチするものがあれば該当するSSM 職業コードを付与し，なければ不明を意味する「999」を付与する。三つ組が複数ある場合には，その各々に対してこの処理を行う。このルールを本稿ではルール $\alpha$ とよぶ.


ルール $\alpha$ は次の形式で表現されるが，左辺において，格と名詞が省略される場合もある。また，実際には，ルール $\alpha$ では，述語ではなく，3.6.2 節で述べる述語コードを用いるが，説明の都合上,ここでは述語を用いて表現した.

$
\text { ルール } \alpha \text { : <述語, 格, 名詞 }>\Rightarrow<\mathrm{SSM} \text { 職業コード }>
$

例えば，「仕事の内容」が「アルバイトでケーキを作っている」の場合，〈作る， ヲ，ケーキ $>$ を抽出し，ルール $\alpha<$ 製造， ヨ，菓子 $>\Rightarrow<644>$ により，SSM 職業コード「644」(パン.菓子・めん類・豆腐製造工）を付与する。このとき，「作る」を「製造」「ケーキ」を「菓子」とみなすことができるのは，次節で述べる「述語シソーラス」や「名詞シソーラス」を利用するためである. 同様に，「仕事の内容」が「大学で哲学を教えている」であれば，＜教える，デ，大学 $>$ を抽出し，ルール $\alpha<$ 教える，デ，大学 $>\Rightarrow<524>$ により，SSM 職業コード「524」 （大学教員）を付与する.

ルール $\alpha$ は, 文献 (1995 年 SSM 調査研究会 1995) に記載された定義や例に基づいて人手で生成した. その後, 自動化システムが処理した事例から得られた情報を追加した。その際, ルー ル $\alpha$ の右辺に 2 つ以上のコードを記述したものも生成した. 例えば，「仕事の内容」に「営業」 としか記述されていない場合, 内勤の営業事務 (「557」) であるのか外回りの営業 (「573」) であるのかは判断できないが，どちらかである可能性が非常に高い，そこで，少しでもコーダの参考となるように，実際には存在しないが，「5570573」（営業・販売事務員または外交員（保険・不動産を除く)）なるコードを生成した ${ }^{16}$.

「従業先の事業内容」から SSM 産業コードを決定するためのルール（産業ルール）もルール $\alpha$ と同様の形式であり, ルール $\alpha$ と同様の手続きにより生成した. 現在, ルール $\alpha$ は 4,224 個.産業ルールは 948 個存在する.

## 3.6.2 シソーラスによる語の拡張

社会の変化に伴い,「仕事の内容」や「従業先の事業内容」には多様な語が記述される. そこで, 本システムでは, ルール $\alpha$ は, 出現するすべての語ではなく代表的な語により生成し, ルー ル $\alpha$ で用いた述語や名詞に対してそれぞれシソーラスを構築することで対応することとした.述語シソーラスは, 語や品詞が異なっていても, 職業や産業コードに分類する観点からは同一視できる語同士に同一の述語コードを付けてグループ化したものである. 例えば，「製造」(サ変名詞),「製作」(サ変名詞),「作る」(動詞)にはすべて同一の述語コード「3861」を付ける. 3.6.1 節の例において, 「作る」を「製造」と同一視できたのはこのためである. 現在, 述語シ


ソーラスの述語コードは 2,880 個, 異なり語は 10,871 個であり, 1 つの述語コードは平均 4 個の異なり語をもつ。

名詞シソーラスは，ルール $\alpha$ で用いた名詞を見出し語とし，職業や産業コードに分類する観点からはこの見出し語と同一視できる語とともにグループ化したものである．見出し語は，「自動車 $1 」$ や電気機械器具」のように，複数の形態素に切り出される語であってもよいが，見出し語以外の語は, 回答とのマッチングを行うために, 形態素が 1 個である必要がある. 1 つのグループに $\mathrm{k}$ 個の語が含まれる場合, 名詞シソーラスは次の形式で表現される $(1<i<k)$.

(見出し語語 1 ・. 語 $\mathrm{i} \cdot$. 語 $\mathrm{k}$ )

3.6.1 節の例で，「ケーキ」を「菓子」とみなすことができたのは，「ケーキ」が見出し語「菓子」のグループに含まれるためである.

名詞シソーラスでは，同じ語が別のグループに出現する場合もある。例えば，「菓子」は先の例では見出し語であったが，見出し語「小売店」のグループにおいては，見出し語以外の語としても出現する. 現在, 名詞シソーラスのグループは 331 個, 見出し語以外の語は延べで 3,994 個であり，1つのグループに平均 12 個の語が含まれる.

2 つのシソーラスによりルール $\alpha$ で用いられた語が拡張され，ルール $\alpha$ の適用範囲が広がる.例えば，「コンピュータの製造」と「テレビを作る」は，いずれも述語コードが「386 1」で，名詞である「コンピュータ」と「テレビ」のいずれも名詞シソーラスにおける見出し語「電気機械器具」のグループに含まれるため, どちらにも $<3861$ ， ヲ，電気機械器具 $>\Rightarrow<634>$ なるルール $\alpha$ がマッチし, 同一の SSM 職業コード「634」(電気機械器具組立工) が付与される.

以上に述べたルール $\alpha$ におけるシソーラスによる語の拡張は, 産業ルールにおいても同様に適用される。

## 3.6.3職業コードの修正

職業コーディングにおいては「仕事の内容」の記述内容が重要であるが，選択回答である「従業先の事業規模」や「地位・役職」, さらには「従業先の事業内容」の情報も用いて総合的に判断される。したがって，ルール $\alpha$ によって付与されたコードの中で, これらの情報により影響を受けるものに対しては，ルール $\alpha$ の適用後にチェックを行って最終的なコードを決める必要がある. このチェックのためのルールを, 本稿ではルール $\beta$ とよぶ. ルール $\beta$ 必要とするコー ドは，管理職, 自営業, 建設関係に多い.

以下では，SSM 職業コードを区別するために，ルール $\alpha$ によって付与されたものを「SSM 職

れたものを「SSM 職業コード（ルールベース）」とよび，「SSM 職業コード」とよぶのは本シス

テムにより最終的に決定されたものとする．SSM 産業コードにおいても同様に，産業ルールにより決定されたものを「SSM 産業コード（産業ルール）」とよぶが，SSM 産業コードではルー ル $\beta$ に該当するものがないため，これがそのまま「SSM 産業コード（ルールベース）」となる.

ルール $\beta$ は次の形式で表現される. 左辺の条件のすべてが必要ではない場合もある.

ルール $\beta$ : < SSM 職業コード (ルール $\alpha$ ), 従業上の地位・役職, 従業先の事業規模,従業先の事業内容, SSM 産業コード（産業ルール）> $\Rightarrow<\mathrm{SSM}$ 職業コード（ルールベース）>

ルール $\beta$ の適用例として, 管理職（「545」〜「553」）の場合を示す. 管理職は, 「従業上の地位・役職が常時雇用の課長以上」かつ「従業先の事業規模が 30 人以上」を条件とするため (1995 年 SSM 調査研究会 1996), SSM 職業コード（ルール $\alpha$ ）により管理職が付与されたコードに対してはルール $\beta$ によるチェックを行う，条件を満たさない場合は，SSM 産業コードを参照して変更する ${ }^{17}$.これとは逆に，ルール $\alpha$ ではコードが特定できずに「999」とされた場合に，ルー ル $\beta$ により管理職の条件がチェックされて，該当する管理職コードが付与される場合もある.

ルール $\beta$ は文献 (1995 年 SSM 調査研究会 1996) にしたがって人手で生成した. ルール $\beta$ は 43 個で, その内訳は, 管理職 14 個, 自営 9 個, 建設関係 7 個, その他 13 個である.

ルール $\beta$ の限界は, 形式化できるものしか扱えないことである，実際には，コードの決定にあたっては, 回答者の性別や学歴, 本人の場合はこれまでの職歴, さらに父職, 配偶者職などのように回答者以外の職業や産業の情報を含め, 収集されたあらゆる情報を利用する場合が多く，これらをすべて反映したルール $\beta$ を生成することは非常に困難である。また，調査によりルール $\beta$ を重視する程度に違いがある場合もある 18 。これにより, 熟練コーダや調査が異なる場合は, 最終的なコードを決定するためのルールに一貫性が欠如し, 最終コードに摇れが生じる可能性がある.

## 3.7 ルールベース手法とSVM の組み合わせ手法

本システムにおけるルールベース手法では, 自由回答の内容を格フレームで表現してコードを決定するルールが必要になるが，回答の中にはこの形式で表現できないものも存在する ${ }^{19}$.例えば, 「仕事の内容」に商品名や生産物のみが記述された場合, 本システムでは述語として扱


われるが，動作を表すものではない．また，コードの修正方法もルールとして表現することが困難な場合があった。これらはシステムの性能を低下させる要因になると考えられる。さらに，自由回答に出現する用語や変換するコードは時代とともに変化するため，ルールベース手法においては，シソーラスやルールのメンテナンスを随時行わなければならないが，これを開発者以外の人間が長期間継続することは，時間的にも労力的にも負担となることが予想される．以上の理由により，ルールベース手法以外の方法を適用する必要があると考えた.

SVM を選択した理由は，文書分類において分類性能の高さで評価が高かった (Joachims 1998; Sebastiani 2002) ためである。 本システムが対象とする自由回答は, 文書分類が対象とする文書に比較すると非常に短いという懸念はあったが20, 職業・産業コーディングは調査が完了するたびに実施されてコードが決定されるため, これを正解とみなすことで, 今後も訓練事例の蓄積が容易であるという利点を考慮した。なお，職業・産業コーディングは多値分類のタスクであるため，2 值分類器であるSVM を one-versus-rest 法 (Kressel 1999) により多値分類器に拡張した.

SSM 職業コードを対象に, SVMによる方法をルールベース手法と比較し, さらに，ルールベース手法とSVM を組み合わせた手法（ルールベース手法により得られた結果をSVM の素性として活用する方法）とも比較した結果, ルールベース手法とSVMを組み合わせた手法, SVM による手法, ルールベース手法の順に分類精度が高かったため (高橋他 2005b), 本システムでもこの組み合わせ手法を適用する．SSM 産業コードについては実験を行っていないが，SSM 職業コードと同様の効果が得られると考え, 同様の組み合わせ手法を適用する。

表 6 にコードごとの自動化の手法と SVM で用いる素性を示す。本稿では，「仕事の内容」「従業先の事業内容」「地位・役職」を基本素性とよぶ.「仕事の内容」と「従業先の事業内容」 はいずれも自由回答であるために，形態素解析により分割された形態素を素性とするが，品詞付き単語と素性番号を対にして生成した素性辞書により素性番号に変換したものを用いる。素性辞書は現在, 15,069 語から構成されるため, 素性番号の最大值は 15069 である. 回答に出現した単語が素性辞書に存在しない場合の素性番号は 20000 にする。また, 素性として用いる語が「仕事の内容」と「従業先の事業内容」のどちらに出現したかを区別するために，「仕事の内容」に出現したものは素性番号をそのまま用いるが，「従業先の事業内容」に出現したものは素性番号に 200,000をプラスした番号を用いる.

ISCO や ISIC において，SVM の素性として用いるSSM コードはルールベース手法と SVM の組み合わせ手法により第 1 位に予測されたコードである。これは, ISCO においてSSMコー

表 6 自動化の手法と SVM で用いる素性

 \\

* 過去の調査等ですでにSSM コードが付与されている場合は，本システムにより予測されたコードではなく付与ずみのコードを用いる.

ドを利用する方法として，第 1 位から第 3 位までに予測されたコードをさまざまに用いた実験を行った結果，この方法がもっとも正解率が高かったためである (高橋 2008). ただし, 前述したように，もし過去の調査等ですでに付与されたSSM コードが入力されていれば，予測されたコードではなくこのコードをSVM の素性として用いる．ISICについては実験を行っていないが，ISCO の場合と同様の効果が得られるものと考え，ISCO と同様の方法を適用する.

ISCO では, SVM の素性として「学歴」も用いる。この理由は, ISCO ではコードの決定時に，職業の遂行に必要なスキルレベル（＝教育・職業資格）が用いられるが，我が国ではこれがデータとして収集されないため，スキルレベルが国際標準教育分類 (ISCED) と対応することや学歴を判断基準とする点 (田辺 2008) に注目し, 学歴で代用可能であると判断したためである.

本システムにおいて 4 種類のコードすべてに変換する場合は，STEP 1 ＳTEP 6 の順に連続処理を行う。また，SSM 職業コードのみに変換する場合はSTEP 1，STEP 2，STEP 3， SSM 産業コードのみの場合は STEP 1, STEP 2, STEP 5, ISCO のみの場合はSTEP 1 , STEP 2, STEP 3, STEP 4, ISIC のみの場合はSTEP 1, STEP 2, STEP 5, STEP 6 の順に実行する。ただし，ISCO（またはISIC）のみに変換する場合に，すでに付与されたSSM コードが入力されている場合は，STEP 2 と STEP 3（またはSTEP 2 と STEP 5）は省略し， STEP 4（またはSTEP 6）ではこのSSM コードを用いる.

STEP 1 職業・産業データに対する形態素解析

STEP 2 ルールベース手法の適用により，SSM 職業コード（ルールベース）とSSM 産業コー ド（ルールベース）を決定

STEP 3 基本素性に，STEP 2 により決定されたSSM 職業コード（ルールベース）を追加してSVM を適用し，SSM 職業コードを第 1 位から第 3 位まで決定

STEP 4 基本素性に, 学歴とSTEP 3 により決定されたSSM 職業コード（第 1 位のみ）を追加してSVM を適用し, ISCO を第 1 位から第 3 位まで決定

STEP 5 基本素性に，STEP 2 により決定されたSSM 産業コード（ルールベース）を追加してSVM を適用し，SSM 産業コードを第 1 位から第 3 位まで決定

STEP 6 基本素性に，STEP 5 により決定されたSSM 産業コード（第 1 位のみ）を追加して SVM を適用し，ISIC を第 1 位から第 3 位まで決定

## 3.8 確信度の付与

SVM は，予測したコードとともにスコア（分離平面からの距離）も出力するため，これを利用して，予測したコードのクラス所属確率を推定することが可能である (Takahashi, Takamura, and Okumura 2008). そこで，この推定値を予測したコードに対する信頼度として利用することを考えた。ただし，本システムでは厳密な確率值までは必要としないため，文献 (Takahashi et al. 2008) における提案手法を特徴づける考え方である「複数のスコア利用」に基づく簡便な方法を提案し， 3 段階の確信度として付与することとした (高橋他 2013a).

各確信度の決定条件は次の通りである。ただし， rank1，rank2 は，それぞれ SVMにより第 1 位, 第 2 位に予測されたコードにともなって出力されるスコアを示す. $\alpha$ は閥値で， $r a n k 1$ と rank2 の差を示す. $\alpha$ を大きく設定するほど予測されたコードのクラス所属確率が高まるため (Takahashi et al. 2008), 確信度 A の信頼性は $\alpha$ を大きく設定するほど向上することになる.

2 節で述べたように，確信度付与の目的は，コーディング結果のすべてに対して再チェックを行う熟練コーダの作業量を削減するためである。したがって，特に，人手によるコーディングを不要とする確信度 A に注目する必要があり, 確信度 A が付与された事例のカバー率（確信度が付与された評価事例数を評価事例数で割った値）が高いことが望ましい. しかし，この場合の正解率（正解した評価事例数を評価事例数で割った値 (高村 2010)）も，熟練コーダが作業不要であることを納得する程度に高い値である必要がある。このように, 確信度 A においては, 正解率とカバー率はいずれも高い値である必要があるが, 両者はトレードオフの関係がある. 本システムでは，職業・産業コーディングの目的が研究のための基礎データを提供するものであることから，カバー率を考慮しながらも正解率を優先し，その值を熟練コーダの要望にしたがって $95 \%$ 以上とした。なお, 本稿では, 「正解」を最終的に決定されたコードとするため, 本稿における正解率は最終コードとの一致率である.

図 6 閾値 $\alpha$ の変化による確信度 $\mathrm{A}$ が付与された事例の正解率とカバー率

閥値 $\alpha$ を決定するために, SSM 職業コードについて 2005SSM 調査データセット（16,083 事例）を用いた 3 分割交差検定による実験を行った. 図 6 は，閥値 $\alpha$ を 1 から 4 まで変化させたときの確信度 A における正解率とカバー率の状況を示したものである (Takahashi et al. 2014). $\mathrm{X}$ 軸が $\alpha, \mathrm{Y}$ 軸が正解率とカバー率を示す。図 6 より, 正解率が $95 \%$ 以上であるのは， $\alpha=3$ と $\alpha=4$ の場合である。両者を比較すると， $\alpha=4$ の方が正解率が $97.5 \%$ と高いが，カバー率が約 $10 \%$ と低く， $\alpha=3$ では， $\alpha=4$ の場合より正解率は 1.7 ポイント劣るが，カバー率は 18.2 ポイント向上して $28.9 \%$ となる. これより, 本システムでは最適な閾値として $\alpha=3$ を選択した.

実際には，確信度は上記の目的だけでなく，一般コーダが自動コーディングの結果を参考にする際の判断基準としても利用されるようになったため，確信度 A だけでなく，確信度 B や確信度 C についても，妥当性を調查しておく必要が生じた。確信度を一般コーダの判断基準として用いるためには，カバー率ではなく正解率に注目する必要がある。前述の実験において閥値 $\alpha=3$ とした場合, 確信度 B の正解率は $71.9 \%$ （カバー率は $47.8 \%$ ）, 確信度 C の正解率は $35.8 \%$ （カバー率 $23.3 \% ）$ であった.これより， $\alpha=3$ は, 確信度 $\mathrm{B}$, 確信度 Cに対しても妥当な閾値であると判断した。

## 4 システムの評価

一般コーダの正解率は，コーダやデータの違いにより差があるが，記録が残されている 6 つの調査（SSM 職業コード）においては $68.8 \%$ から $80.0 \%$ で, 平均は約 $75 \%$ であった (高橋 2002a). コーダに対する有効な支援を行うにはこの値を上回る必要があるため，本システムにおける正解率の目標を, いずれのコードも $80 \%$ に設定する ${ }^{21}$ 。また, 確信度ごとの正解率は, 確信度 A では $95 \%$ ，確信度 B では一般コーダの平均値 $75 \%$ を目標とする。

システムの評価実験では，まず，コードの種類ごとの正解率と確信度付与の有効性を報告した後，処理時間についても報告する（実験 1）。次に，視点を変え，実際に本システムを利用す


る社会階層分野の研究者による評価について簡単に報告する（実験 2）.

## 4.1 実験 1

実験は現実の場面を想定し，交差検定ではなく，評価事例を訓練事例より新しいデータセットや別の調査により収集されたものを用いた（表 7 参照） ${ }^{22}$.その際， 4 種類のコード間における結果を比較するため，すべてのコードが付与された「本人現職」を用いた。「本人現職」は社会学においてもっともよく用いられる変数であるが，新しい仕事内容が新しい用語により表現されるケースが多いため, 他の場合（「本人初職」や「父職」など）より正解率が低い傾向がある。

## 4.1.1 正解率

コードの種類別の正解率（第 3 位に予測されたコードまで含む）を表 8 に示す。表中, ISCO* と ISIC*は，SVMの素性としてルールベース手法による結果ではなく，過去の調査等ですでに付与された SSM コードを用いた場合を表す（以下，同様である）.

SSM コードでは， 2 種類の評価事例のいずれにおいても，職業コードは約 $80 \%$, 産業コードは約 $90 \%$ で目標値に達しており, 安定している. ISCO や ISIC は，SSM 職業コードや SSM 産業

表 7 コードの種類別訓練事例と評価事例

表 8 正解率（第 3 位に予測されたコードまで含む）



コードよりそれぞれ約 8 ポイント，約 10 ポイント低いが，ISICは目標値に達している。また, ISCO や ISIC においてすでに付与された SSM コードを利用した場合は，いずれもこの値より約 5 ポイントずつ高く，付与ずみの SSM コードを利用することは有効である。ただし，ISCO はこの場合も目標值に達しておらず，SSM 職業コードより約 4 ポイント低い．ISCO や ISIC の正解率ががSSM コードより低い理由としては, 分類クラスの数が多く困難なタスクであることと，訓練事例として用いられるデータの蓄積が不足していることが考えられる.

## SSM 職業コードの状況

社会学でもっとも関心の高いSSM 職業コードについて，JGSS-2006 データセットを用いてより詳細に調査する。このとき, 正解とされるコードごとの正解率は, 再現率（注目した正解コードの事例数のうち，システムが正解した事例が占める割合）を計算していることになる.

本システムで用いる SSM 職業コードは全部で 193 個であるが，正解として本データセットに出現したコードは 150 個 $(77.7 \%)$ であった. この中で, 正解率が $100 \%$ のコードは 39 個 $(26 \%)$ で，表 3 に示す大分類では専門・技術が多く，0\%のコードは 12 個 (8\%) で製造が多かった．ただし，これらはいずれもコードの出現度数が非常に少なく，特に正解率が $100 \%$ のコードはすべて頻度 15 以下， $0 \%$ のコードもすべて頻度 7 以下で，合計しても $178(8 \%)$ で，全体に与える影響は大きくない，そこで，以下では，正解コードの度数が全体の $1 \%$ （頻度 22 ）以上の 31 個のコードについて調査する。これらは出現したコードの $21 \%$ を占め, 累積度数は $1,499(68 \%)$ である。

まず，表 9 に正解率のベスト 10 とワースト 10 を示す. 正解率が高いものはサービス, 農林,専門・技術, 販売, 低いものは労務や建設が多いことがわかる.

次に，本システムが間違えた状況を調查する，間違い方には，正解がコード Xであるのに本

表 9 SSM 職業コードにおける正解率のベスト 10 とワースト 10（第 3 位に予測されたコードまで含む）

システムが X 以外のコードを付与する場合と, 正解が X 以外のコードであるのに本システムが間違えてコード Xを付与する場合がある。前者の結果を表 10 , 後者の結果を表 11 に示す. ただし，全体に及ぼす影響を考慮し，間違えた事例数が全体の 1 割（頻度 22 ）以上のコードに限定した。いずれの表においても，コードの後に，本システムが間違えた事例数をカッコ内に示す. また, 最右欄においてコード名を示していないものは, 間違えた事例数が 1 のコードである.

不正解がもっとも多かったのは, 正解である「554」を他のコードに間違えたり（表 10 参照），他のコードを「554」に間違える（表 11 参照）場合である．具体的には，「554」を販売や管理に間違えたり，「554」と同じ事務の「556」「557」「559」や専門・技術や製造を「554」に間違えている。次に多いのは，「557」と「573」を相互に間違える場合である。さらに，事務を「569」 （販売店員）や「550」（会社・団体等の管理職員）に間違える場合も多い. 事務は，表 9 によると，「557」以外は特に正解率が低いわけではないが，事務同士や販売または管理との間で間違うケースが多い.

ここで, 不正解であった全 467 事例を調査した結果, 誤りの原因は次の 9 種類に分類できた.
- 入力データに誤りがある（誤字や脱字など）(A)
- 文末の語を述語とする方法も含め, 格フレームの形式では有効な情報を抽出できない (B)

・ ルール $\alpha$ が不十分である $(\mathrm{C})$

・ ルール $\beta$ が不十分である（「従業先の事業内容」を参照していないなど）

・ シソーラスが不十分である $(\mathrm{E})$

表 10 正解コードからみた不正解の状況（SSM 職業コード）

 & 本システムの結果（第 1 位のコード） \\

2 & $557(33)$ & 0.625 & $573(12) 550(4) 554(4) 569(3) 575(2) 592(2)$ 他 6 個のコード \\

表 11 本システムのコード付与からみた不正解の状況（SSM 職業コード）

 &  & \multicolumn{1}{|c}{ 正解コード } \\

- 正解がルール $\beta$ を適用していない $(\mathrm{F})$
- 回答に複数の職業内容が記述された場合に, 本システムが正解が異なるものに決定 $(\mathrm{G})$
- 回答の情報が不足している（正解が曖昧）(H)
- 正解が誤っている可能性がある (I)

1つの事例に誤りの原因が複数含まれるものもあるが, 表 12 に誤りの原因別に回答例を示し,誤りの原因について順に分析する。

原因 A は, 人間であれば理解可能でも, コンピュータは正しい処理が行えない. 本システムの場合も最初の形態素解析で失敗してしまうため, 後の処理が正しく行えない. 例では, もっとも重要な述語「評価」が「表価」と誤入力または調査票に誤記入されたため, マッチするルー ルが見つからず，また，SVMにおける素性としても「評価」がないために，不正解となった.

表 12 誤りの原因別の回答例と決定されたコード（SSM 職業コード）

 &  & 正解 \\

社会調査においては, メイキング防止のため, 調查票の記入通りに入力を行う.したがって, 調査員による誤記入が予想できる場合でもそのまま入力されるため，入力ミス以外に調査票における誤字や脱字も正解率を低下させる。調査票記入における別の問題として，調査員が，単語の一部またはすべてをひらかなやカタカナで記入する場合も多い（例えば，「き械」「キカイ」など） ${ }^{23}$. 原因 A は人手によるコーディングでは大きな問題とはならないために, 社会学研究者からの理解が得にくいが，コンピュータによる自動処理を行う本システムにとっては大きな問題であり, 今後, この問題に取り組む必要がある.

原因 B の最初の例では，＜組み立て， ヲ，部品＞なる三つ組を生成するが，この名詞が意味する範囲が広く，職業の特定ができない。もし，「部品」の前に位置する「電化製品」が抽出できれば，ルールベース手法の段階でコードが決定でき，SVM の素性として有効に作用することが期待できる. このように, 名詞が「部品」や「製品」のような場合には, その前の語を抽出する必要がある。二番目の例では 3 個の三つ組を生成するが，いずれも「999」のため，SVM の素性として有効ではない。このように, 複雑な構成の文に対しては, 単純に文末の語を述語とする三つ組を生成する方法では，有効な情報の抽出ができない場合がある。逆に，三番目の例は非常に単純で 1 個の単語から構成される文であるが, この語が動作を表すものではないために述語コードを付与できず，この場合も文末の語を述語とする方法では対応できない.

原因 Ｃの例では，＜検査， ヲ，パン＞なる三つ組を生成するが，これを「644（パン・菓子・ めん類・豆腐製造工)」に結びつけるルール $\alpha$ が存在しないため, 「999」となり, 不正解につながった. 原因 D の例はいずれも，「仕事の内容」からは「554」でよいが, 正解では「従業先の事業内容」を参照し，より妥当なコードに修正されている ${ }^{24}$. ルール $\beta$ に SSM 職業コード（ルー ル $\alpha ）$ が「554」の場合も追加する必要がある。原因 $\mathrm{E}$ の例では，形態素解析により切り出された結果，述語が「上絵」, 名詞が「紋章」となるが，どちらもシソーラスにないために「999」となり, 不正解につながった. 原因 $\mathrm{C}, \mathrm{D}, \mathrm{E}$ につては，ルール $\alpha$, ルール $\beta$, 述語シソーラス,名詞シソーラスの改善が有効である.

原因 F の最初の例は，ルール $\alpha$ により管理とされたが，ルール $\beta^{25} より 「 554 」 と$ 修正され， SVM による結果も「554」となった. 正解でも，「従業先の事業規模」により修正が必要とされたが，「従業先の事業内容」ではカッコ内の「電子機器の部品を作る会社」に注目して「503」 （機械・電気・化学技術者）としたため, 不正解となった. 二番目の例は, ルール $\alpha$ により管理 (「548」(会社役員)）とされ，ルール $\beta$ における管理の条件を満たすために修正されず，SVM


による結果も「548」であった。しかし，正解ではルール $\beta$ を適用せず，「従業先の事業内容」 が「建設住宅コンサルタント会社」であることに注目して「541」（経営コンサルタント）とされた.このように，正解においては，特に管理の場合にルール $\beta$ を適用する場合としない場合があり ${ }^{26}$, コーダの間でも混乱が生じている。人間にとってもコンピュータにとっても，管理コードの付与方針を整理しておく必要がある。

原因 G はしばしば起きるもので，今回も全不正解事例のうち 125 事例 $(27 \%)$ が該当した。ただし, 複数の内容を記述した全 384 事例 $(17 \%)$ においては正解が 259 事例で, 不正解の事例の 2 倍である. 複数の内容が記述された場合, どれを正解とするかについては, 重要なものから記述されるとの考えから, 先に記述されたものを正解とすることが多いが, 本システムは記述された順番の情報を用いていないため，結果が正解と異なる場合もあり得る。また，「2つ以上の勤務先で異なる仕事に従事している場合には, 就業時間の長い仕事, 収入の多い仕事の順であり，1つの勤務先で異なる仕事に従事している場合には，就業時間の長い仕事，生産・製造作業, 主要工程または最終工程という順に決定する.」なるルール (1995 年 SSM 調査研究会 1995) が適用されることもあり, この中では, 「生産・製造作業が他より優先される」はルール化が可能である.

原因 $\mathrm{H}$ は，コンピュータだけでなく人間においても誤りの原因となる。これは，回答者も調查員も，職業分類の決め手となる情報についての知識が不足するために生じる場合 (二番目, 三番目, 四番目の例）と，回答者が情報を開示したくない場合（最初と最後の例）がある. 原因 $\mathrm{H}$ の場合，コーディング現場において可能な限り「999」や「689」(分類不能の職業)を付与しない方針が強く要請されると，正解を誤ってしまう危険性がある。回答における情報不足の問題については, 原因Aの問題とも併せ，データの質向上というより一般的な観点から，新たな課題として取り組む予定である。

原因 I は, 現職までの職歴データや他の情報も考慮された結果, このような正解となった可能性も否定できないが, 「本人現職」からは正解が誤っており, 本システムの結果が不正解であるとは言い切れない，正解が誤っているという状況は，新しい職業が登場した当初に解釈が分かれ，その時点で正解としたものが後に定められるコード（新規に生成される場合もある）と異なる場合にも生じる。このため, 訓練事例は適宜見直し, 必要に応じて正解を更新する必要がある.

ところで, 表 12 における例では, 本システムの結果がルールベース手法による結果と一致する場合が多かった，そこで，全事例における両者の一致率を調査した結果，約 80\%（1,811 事例）であった．両者における正解・不正解の関連を表 13 に示す。カッコ内の数値は全体に占める割合である。ここで正解としたのは，ルールベース手法では複数のコードが付与された場合

表 13 ルールベース手法のみと本システムの正解・不正解事例数（SSM 職業コード）

はその中に，本システムでは第 3 位までのコードの中にそれぞれ正解が含まれる場合である.

表 13 より，ルールベース手法の正解率は $60.7 \%$ であるが，ルールベース手法で不正解となった事例の半数がSVM の適用により正解となり, 特に, ルールベース手法でコードが決定できなかった事例の約 7 割が正解となったため, 本システムの正解率は 18 ポイント上昇した. これより，両手法を組み合わせる手法の有効性が再確認できた。一方で，ルールベース手法で正解であった事例のうち, SVM の適用により不正解となったものは約 $2 \%$ しかなく, ルールベース手法の正解率を向上させることは, 本システムの正解率向上に有効であると考えられる.

## ISCO における追加実験

ISCO における正解率の向上を目的に，ISCO のコード体系が階層構造であることを利用した追加実験を行った。まず大分類（10 個）を学習させた後に，大分類ごとに小分類を学習する方法の有効性を実験した，第 1 位に予測されたコードについて，階層構造を利用した方法の有効性を調査した結果, 効果あり 5 個, 効果なし 3 個, 変化なし 1 個であった ${ }^{27}$. 次に，大分類ごとに, この方法と本システムにおける手法（直接, 小分類を学習する）のうち正解率の高い方を選択して全体の正解率を算出したが，本システムにおける手法より 0.5 ポイントしか向上せず，両者を組み合わせた方法の有効性も認められなかった.

ISCO やISIC は，今後，国際標準コードが普及するにつれ，正解付きの事例が蓄積されていく．実験によれば，訓練事例のサイズが大きいほど正解率が向上するため (高橋他 2005b), 今後, この正解付きの事例を既存の訓練事例に追加していくことで, 正解率の向上が見达める. このためには，訓練事例の追加処理を容易に行うことができる必要がある.

## 4.1.2確信度の有効性

表 14 に, 確信度別の正解率とカバー率（カッコ内）をコードの種類ごとに示す. 確信度は第 1 位に予測されたコードに対するものである。表 14 において，SSM コードの值は 2 種類の評価事例の平均である.

表 14 より, 確信度 A が付与された事例の正解率は, ISIC (94\%)を除くすべてのコードで目

表 14 確信度別の正解率とカバー率

 \\

SSM 産業コード & $0.975(0.32)$ & $0867(0.54)$ & $0.437(0.14)$ & 0.881 \\
ISCO & $0.963(0.05)$ & $0.701(0.67)$ & $0.276(0.28)$ & 0.595 \\
ISIC & $0.941(0.01)$ & $0.919(0.56)$ & $0.574(0.43)$ & 0.771 \\
ISCO* $^{*}$ & $0.947(0.05)$ & $0.759(0.65)$ & $0.300(0.30)$ & 0.631 \\
ISIC* & $1.000(0.01)$ & $0.971(0.55)$ & $0.671(0.44)$ & 0.839 \\

最低値 & $0.941(0.01)$ & $0.701(0.48)$ & $0.276(0.14)$ & 0.595 \\
平均 & $0.963(0.12)$ & $0.822(0.58)$ & $0.436(0.30)$ & 0.737 \\

標值 $(95 \%)$ を上回っているため, 有効であると判断できる. 特に ISCO では, 第 1 位の正解率は $60 \%$ 未満で，第 3 位までを含めても 70\%（表 8 参照）と低いが，確信度 $\mathrm{A}$ が付与された事例については $96 \%$ と高い值であった。一方, カバー率は, SSM コードは約 $30 \%$ であるのに対し, ISCO は $5 \%$, ISIC \& $1 \%$ と非常に低く, 有用性の点で問題がある。今後, ISCO と ISIC は訓練サイズの増大による正解率の向上が期待できるが，カバー率についても向上させる必要がある.確信度 B と確信度 Cにおける正解率は, それぞれ $70 \%$ から $97 \%$ と $28 \%$ から $67 \%$ で, 確信度 $\mathrm{A}$ に比較するといずれもバラツキが大きい。確信度 B は, 国内・国際職業コードのいずれも目標値 $(75 \%)$ をやや下回ったが，一般コーダの正解率の範囲内である。確信度 B がもっとも高い ISIC $(92 \%)$ は, 確信度 A がもつとも低く, 両者の差が $2 \%$ しかない上に, 確信度 Cにおける正解率も比較的高い.これは SSM 産業コードにおいても同様の傾向である。職業コードでは,確信度 A, 確信度 B, 確信度 C がそれぞれ $95 \%, 70 \%$ 台， $30 \%$ で安定していることと対照的である ${ }^{28}$ 、いずれにしても， すべてのコードにおいて，任意の確信度の最低値は下位の確信度の最高値より高く，3つの確信度は信頼性の程度を明確に区別する，以上より，本システムにおける確信度は, 自動コーディング後の人手の要・不要の程度を表す指標として有効であるといえる。

最後に，表 13 の状況を確信度別に調査した結果を, 表 15 （確信度 A), 表 16 （確信度 B）,表 17 （確信度 C）に示す.カッコ内の数値は全体に占める割合である.

表 15 ，表 16 ，表 17 より，本システムで正解であった事例について，ルールベース手法における正解・不正解の比率を調査すると, 確信度 A では約 80 倍でもっとも高く, 確信度 B で約 2.7 倍, 確信度 C で約 0.7 倍と, 確信度のレベルが下がるにつれて大きく低下した. また, ルー ルベース手法で正解であった事例が本システムにおいても正解となる割合を確信度別に調査す

表 15 ルールベース手法のみと本システムの正解・不正解事例数（確信度 A）（SSM 職業コード）

表 16 ルールベース手法のみと本システムの正解・不正解事例数（確信度 B）（SSM 職業コード）

表 17 ルールベース手法のみと本システムの正解・不正解事例数（確信度 C）（SSM 職業コード）

ると，それぞれ約 $100 \%, 98 \%, 91 \%$ で，確信度のレベルが高いほど高かった.

## 4.1.3 処理時間

処理時間は, PC の性能 29 や訓練事例, 評価事例のサイズにより異なるが, 評価事例が JGSS2006 データセットの場合, STEP 1 から STEP 6 にそれぞれ 0 分, 7 分, 34 分, 7 分, 13 分, 2 分（計 63 分）を要した. 1 事例当たり, 約 1.7 秒かかる計算となる.

本システムで 1 度に処理できる事例数は最大 5,000 であり, これより大きなサイズのデータセットの場合は数回に分けて処理する必要がある。 5,000 事例の場合, 1 回の処理時間は約 2 時間半弱である.

## 4.2 実験 2

SSM 調査のような大規模プロジェクトによる調査では, 自動コーディングの結果が得られても, 従来通り一般コーダによるコーディングを実施し，その後に熟練コーダによる再チェックを行うことが可能である. しかし, 多くの調査では, コーディング作業にこのような労力や時間ををかけることは困難である。また，実際の分析においては，研究の目的に応じ，類似した性質をもつ小分類コードは大分類にまとめて扱う場合が多いため，この大分類レべルで正解で
$ を使用した.
}

あれば問題はない，例えば，本システムの利用が多い社会階層分野でも，職業威信スコアを用いる研究 30 を除くと，大分類にまとめたものを分析する場合が多い. このため, 自動コーディングの性能が高まるにつれ，この結果をそのまま利用できるのではないかと考える研究者も出てきた。そこで，本システムの利用者である社会階層分野の研究者の立場から，自動コーディングの結果をそのまま利用した場合の有効性と問題点についての検討を開始した (高橋，多喜，田辺 2016). 本稿では，SSM 職業コードを対象に，第 1 位に予測されたコードの正解率や確信度について報告する。

実験 2 では，実験 1 で用いた訓練事例（表 7 参照）に，JGSS-2006, JGSS-2008, JGSS-2010 データセットを加えた計 49,795 事例を訓練事例とした ${ }^{31}$. 評価事例は, 東京大学社会科学研究所が実施する「働き方とライフスタイルの変化に関する全国調査」（若年・壮年パネル調査； JLPS） 32 の第 1 波のうち，本システムを利用するための項目を満たす 3,619 事例を用いた.

前述したように，職業威信研究では小分類コードを用いることと, 実験 2 における訓練事例と評価事例はいずれも実験 1 と異なるため，まず小分類コードの結果を報告し，次に，大分類にまとめた場合の結果を報告する，以下では，すべて第 1 位に予測されたコードを対象とする。

## 4.2.1 小分類コードにおける正解率と確信度

正解率は $67.1 \%$ で，表 14 に示した実験 1 の結果 $(70.2 \%)$ と比較すると, 訓練事例のサイズが増大したにもかかわらず約 3 ポイント低かった。この理由として, 実験 2 は実験 1 と異なり,評価事例が訓練事例とは性質が大きく異なる調査により収集されたデータセットであることと, パネル調査のため，第 2 波以降に得られた情報により正解が修正された可能性があることが考えられる。ただし，第 3 位に予測されたコードまで含むと，正解率は $79.0 \%$ となり，実験 1 の結果 $(78.8 \%)$ をやや上回っており，本システムの頑強性が確認できた.

表 18 に，正解コードの出現度数が全体の $1 \%$ （頻度 $35 ）$ 以上であるコードのうち，正解率が $50 \%$ 以下のものを示す.「557」や労務が含まれる点は, 実験 1 の結果（表 9 参照 ${ }^{33}$ ）と類似する.

表 18 正解率が 50\%以下の小分類コード（SSM 職業コード）


全体に及ぼす影響の大きさから, 不正解の事例数が多いコードを調査した. 10 位までのコー ドを表 19 に示す. 実験 2 においても実験 1 （表 10参照）と同様，「554」や「557」を他のコー ドに間違う場合が多い34.

次に, 確信度ごとの正解率とカバー率（カッコ内）を表 20 に示す.いずれの確信度も実験 1 の結果（表 14 参照）を上回っている。特に，確信度 $\mathrm{A}$ が付与された事例では正解率が $97.8 \%$ に達しており，ここでも確信度 A の有効性が確認された。これより，「確信度 A が付与された場合は人手によるコーディングは不要」と主張することに一定の説得力があるといえる。たたし, 確信度 A が付与された事例が全体の $14 \%$ と低いことは，有効性の点からは問題である。

確信度 B の正解率は $76.4 \%$ で，一般コーダの平均を約 1.5 ポイント上回っている。このため,確信度 A または B が付与された事例については, 自動コーディングの結果をそのまま利用しても大きな支障はないと考えられる。この場合のカバー率は合計で約 $66 \%$ となる. 確信度 $\mathrm{C}$ の正解率は $40.2 \%$ と低いため, そのまま利用することは危険で，人手によるチェックが必要である.

## 4.2.2 大分類に合併後の正解率と確信度

国内の階層研究において実際に分析が行われる場合，表 3 に示す大分類が用いられることは

表 19 不正解事例数が多い小分類コード（SSM 職業コード）

表 20 確信度別の正解率とカバー率（SSM 職業コード）



ほとんどなく，表 21 に示すものが用いられることが多い 35 . また，分析の目的によっては，小分類コードを表 3 に示す大分類に変換し，さらに表 21 に近い 8 つのカテゴリ（「専門・技術職」「管理職」「事務職」「販売職」「サービス職」「生産現場・技能職」「運輸・保安職」「農林」）に合併することもしばしばある．このカテゴリは小分類コードと自然な対応関係にあり，両者の比較がもっとも容易に行えるため，ここでは，これを大分類として扱う．

表 22 に，小分類コードの正解率を大分類別に平均した値と，大分類に合併したときの正解率を比較した結果を示す。表中，確信度 A のカバー率の平均とは，注目する正解コードにおいて確信度 A が付与された事例がその正解コードの全事例に占める割合を大分類別に平均した値である。

大分類に合併すると，正解率の平均は $67.1 \%$ から $79.9 \%$ に上昇し，特に「生産現場・技能職」 の上昇幅は約 24 ポイントと大きい。「運輸・保安職」の上昇幅は約 4 ポイントであるが，確信度 A のカバー率は $34 \%$ と高い.

表 21 階層研究で用いられる大分類と分類の単位

 & 専門管理事務販売熟練半熟練非熟練農林 \\

表 22 分類レベルの違いによる正解率の比較と確信度 A のカバー率（SSM 職業コード）

 &  &  &  \\

管理職 & 0.8 & 0.571 & 0.571 & 0.00 \\
事務職 & 25.4 & 0.607 & 0.754 & 0.11 \\
販売職 & 14.2 & 0.688 & 0.777 & 0.11 \\
サービス職 & 9.0 & 0.759 & 0.836 & 0.12 \\
生産現場・技能職 & 22.7 & 0.571 & 0.811 & 0.08 \\
運輸・保安職 & 4.0 & 0.779 & 0.814 & 0.34 \\
農林 & 0.9 & 0.813 & 0.813 & 0.28 \\


表 23 大分類に合併後の確信度別の正解率

逆に，「管理職」では小分類でも大分類合併後でも $60 \%$ 未満で低く, また確信度 A のカバー 率も $0 \%$ である。これより，「管理職」が付与されたコードをそのまま用いるのは危険であり， コーダも十分に注意する必要がある。ただし，管理職の出現率は $0.8 \%$ で，全体に及ぼす影響は大きくない 36 . また,「事務職」と「販売職」も小分類での正解率が $70 \%$ 未満と低く, 大分類合併後も $80 \%$ に達していない. これら 3 つに共通する特徴として, 職務が明確に限定されていない職業を多く含むことが挙げられる。これは，資格との対応や必要な技能および職務が明確な 「専門・技術職」の正解率が小分類でも高く, 大分類合併後にもっとも高くなることと対照的である.

表 23 に, 大分類に合併後の正解率を確信度ごとに示す. 小分類レベル（表 20 参照）と比較すると, 大分類合併後は, いずれの確信度も正解率が上昇し, 特に確信度 Bでは 10 ポイント,確信度 C では 20 ポイント以上上昇する，大分類に合併すると，確信度 A または B が付与された事例の正解率は十分に高い値となるため, 自動コーディングの結果をそのまま利用することが可能である.

## 5 システムの利用方法

最後に, 本システムの利用方法について述べる. 利用者は, 3.3 節で述べた所定の形式の入力ファイルを準備し，CSRDA の Web サイトを通じて図 7 に示す (1)～(4) の手続きを行えば，自動コーディングの結果を得ることができる.

図 7 において, [CSRDA] 自動化システムによる処理とは, 運用担当者が行う次の 2 つである.
- システムを稼働させて図 1 に示す操作画面を表示させ, 図 2 に示すように, 指定場所に置かれた入力データファイルと利用者から希望のあったコードを指定する

・本システムが出力した結果ファイルを指定場所に置く

なお，CSRDAでは， セキュリティの点から， システム運用担当者は利用者からの入力ファ

組みとしている.


(4)

(1) [利用者] 利用申請書をメイルによりCSRDAに送信

（希望する職業$\cdot$産業コードの種類を明記）

(2) [CSRDA] 利用申請書のチェック/承認オンラインストレージ(Proself)用IDとパスワードの発行

(3) [利用者] 入カデータファイルをオンラインストレージにアップロード

[CSRDA]自動化システムによる処理

(4)[利用者］結果ファイルをオンラインストレージからダウンロード

図 7 Web 公開版システム（試行提供中）の利用手順

## 6 関連研究

ここでは，韓国と米国における自動化システムについて述べる。本システムとの大きな違いは，いずれも社会学の研究支援が目的ではなく，職業や産業コードそれ自体が分析に用いられる変数ではないこと，また，自動化のアルゴリズムに機械学習を適用していないことである.

韓国では，2008 年に大韓民国統計庁において Web-based AIOCS (A Web-based Automated System for Industry and Occupation Coding) が開発された (Jung, Yoo, Myaeng, and Han 2008). Web-based AIOCS は, ISCO や ISIC に由来する韓国独自の職業コード（442 個）や産業コード （450 個）への変換を行う，自動化のアルゴリズムは，文献 (高橋 2000; Takahashi et al. 2005) を参考にしながらも，処理時間の問題から SVM は用いずに，ルールベース手法, 最大エントロピー法 (MEM), 情報検索技術 (IRT) の 3 種類を単独または後の 2 つをルールベース手法と組み合わせた計 6 種類が提案されている。この中で正解率が最も高いのは, ルールベース手法, MEM, IRT をこの順に実行する方法で $76 \%$ である. 利用方法は一問一答方式で, Web サイト上に, 会社名 (自由回答), ビジネスカテゴリ, 部門, 役職, 仕事の内容（自由回答）を入力すると, 同一画面に結果が表示される. Web-based AIOCS における入力データは本システムと類似するが, ファイルによる入出力については不明で 38 , 利用も統計庁内部に限定され, 一般に公開されていない.

米国では, これまで CDC (Centers for Disease Control and Prevention; 米国疾病予防管理センター）の Web サイト上に，単語のマッチングを主とする SOIC (Standardized Occupation


\& Industry Coding) システム39を公開し, 利用者自身がソフトウェアをダウンロードして処理を行っていた．SOICは 1990 年のセンサス・コードに変換するもので，正解率は，職業コード $75 \%$, 産業コード $76 \%$ で，職業コードと産業コードの両方では $63 \%$ であった.

CDC では, 2000 年以降のセンサス・コードに対応するため, 2013 年に SOIC を含む NIOCCS (The NIOSH Industry \& Occupation Computerized Coding System) を構築した ${ }^{40}$. NIOCCS における入力データは，職業や産業を記述したテキストのみで，これは本システムにおける自由回答部分に該当する. 自動化のアルゴリズムはルールベース手法で, 単語だけでなく知識についてもデータベース化したものとのマッチングを行う．知識の表現形式についての説明はないが，本システムにおけるルール $\alpha$ による処理に該当すると考えられる，ただし，本システムではルール $\alpha$ で決定されたコードをチェックするルール $\beta$ が存在するのに対し, NIOCCS にはこれに該当するものがないため，「従業上の地位」や「役職」「従業先の事業規模」も参照して総合的かつ慎重な判断を必要とする社会学研究のためには厳密さに欠ける.

NIOCCS においても，本システムにおける確信度と同様に，自動コーディングの結果に 3 段階 (High, Medium, Low) の信頼度を付与するが，機械学習を適用しないため，その算出方法が本システムと異なることは明らかである ${ }^{41}$. NIOCCS では一問一答方式とファイルによる入出力が可能である．SOIC と異なり, 利用者はシステムをダウンロードせずに, NIOCCS のアカウントを取得した上で処理を依頼する点は本システムと共通するが，マッチングを行うデータベースを 2000 年, 2002 年, 2010 年の中から選択できる機能は本システムにはないものである.本システムでは，同一コード体系内におけるさまざまな版（例えば，SSM 職業コードにおいて 700 番台や 800 番台のコードを含む／含まないなど）に対応するルールや訓練事例を複数種類用意し, 利用者の希望に応じて版を選択できる機能の追加を予定している.

## 7 おわりに

本稿では, 社会学で活用されている職業・産業コーディング自動化システムについて, 現在, CSRDA の Web から試行提供されているシステムを中心に, 運用・利用方法も含めて述べた.

本システムは, 国内 /国際標準の計 4 種類の職業・産業コードへの変換を行うが, 社会学において重要な職業コードの正解率は, 第 3 位に予測されたものまで含め, 国内標準コードで約 $80 \%$, 国際標準では $70 \% \sim 75 \%$ であり, 正解率の向上が今後の大きな課題である.このため, もっとも利用の多い国内標準コードについて, 誤り分析の結果に基づき, ルールベース手法にお
: / /$ wwwn.cdc.gov/niosh-nioccs/

41 信頼度を算出するための根拠が不明で, Frequently Asked Questionsm の回答として, High が $90 \%$ 以上, Medium が $70 \%$ 以上との説明があるたけけである。カバー率も示されていない.
}

けるルールやシソーラスの見直しを行っている．また，SVM で用いられる訓練事例の正解の見直しも開始した。さらに，訓練事例のサイズを拡大するため，2015SSM 調査における職業コー ディングの最終結果が決定された時点で, これを正解付き事例として追加する予定である.

正解率は全体では満足できる程度に高くないが，確信度 A が付与された場合は，職業・産業

る有効性が確認できた。ただし，この場合のカバー率は $1 \% \sim 32 \%$ と低いため, カバー率の向上が今後の課題である。確信度 B や確信度 C が付与された場合の正解率はそれぞれ $70 \% \sim 97 \%$ (平均 $79 \%$ ), $28 \% \sim 67 \%$ (平均 $42 \%$ ）で，国内・国際に関係なく産業コードは職業コードを上回った。

社会学研究者がもっともよく利用する SSM 職業コードについて, 実際の利用状況を想定した大分類レベルに合併すると, 正解率は第 1 位に予測されたもので約 $80 \%$ となり, 確信度 A が付与された場合は $99 \%$ となった。また, 確信度 B, 確信度 C が付与された場合の正解率もそれぞれ $87 \%, 62 \%$ となった. これより, 確信度 $\mathrm{C}$ が付与されない事例は, 本システムの結果をそのまま利用できる可能性がある，今後は，別の種類の大分類に合併した場合についても同様の調査を行った後，より高度な分析として多変量解析に利用された場合についても調査する予定である.

国内の社会学において用いられる職業・産業コードは, 今後の社会変動に伴い, さらなる改変が予想される。これは，個々のコードレベルにとどまらず，コード体系が変更される可能性もある。実際，SSM 職業コードでは，すでにISCOに倣った 4 桁の階層的なコード体系が提案されている (三輪 2011)。また，SSM 産業コードも，2015SSM 調査では，ISICとの関係を重視し，これまでの大分類コードから中分類コードに変更された。 さらに，ISCO についても，近い将来, 本システムで用いた ISCO-88（1988 年版）から ISCO-08（2008 年版）に移行することが予想され，この動きはISICにおいても同様であると思われる.

このような状況の中で, 新規のコードまたはコード体系が現行のものと単純な対応関係にある場合は問題ないが，そうでない場合には次のような対応を行う予定である。まず，コード体系が変更されずに新規のコードが追加される場合は, 必要に応じてコードを決定するルールや訓練事例の正解を修正する。その際，どの新規コードを用いるかが調査により異なる可能性がある場合には, さまざまな版を用意し, 利用者の希望に応じて選択できる機能が必要である.本機能は, 現在開発中である。次に，コード体系が新しく変更される場合は，これに対応する正解付きの事例を蓄積し, 新規の訓練事例を生成する必要がある (高橋 2016). 職業・産業コー ディングは，大規模調査が終了するたびに正解付きの事例が大量に得られるという利点があるため, この事例から訓練事例を容易に生成することができる機能があれば，迅速な対応が可能になる。本機能はほぼ完成しており，本システムへの追加を予定している.

## 謝 辞

日本版 General Social Surveys (JGSS) は, 大阪商業大学 JGSS 研究センター（文部科学大臣認定日本版総合的社会調査共同研究拠点）が, 東京大学社会科学研究所の協力を受けて実施した研究プロジェクトである。2005 年 SSM 調査データの利用に関して, 2015 年 SSM 調査研究会の許可を得た。東大社研パネル調査プロジェクトにおける職業・産業コーディングの精度向上を目的として，職業・産業の自由記述データの提供を受けた。本研究は JSPS 科研費 25380640 の助成を受けた。

## 参考文献

1995 年 SSM 調査研究会 (1995). SSM 産業分類・産業分類（95 年版）.

1995 年 SSM 調査研究会 (1996). 1995 年 SSM 調查コード・ブック.

原純輔 (1984). 社会調查演習. 東京大学出版会.

原純輔 (2013). 職業自動コーディング. 社会と調査, 11, p. 3.

Joachims, T. (1998). "Text Categorization with Support Vector Machines: Learning with Many Relevant Features." In Proceedings of the European Conference on Machine Learning, pp. 137-142.

Jung, Y., Yoo, J., Myaeng, S.-H., and Han, D.-C. (2008). "A Web-based Automated System for Industry and Occupation Coding." In Proceedings of the 9th International Conference on Web Information Systems Engineering (WISE-08), Vol. 3518, pp. 443-457.

Kressel, U. (1999). "Pairwise Classification and Support Vector Machines." In Schölkopf, B.,

Burgesa, C. J. C., and Smola, A. J. (Eds.), Advances in Kernel Methods ${ }^{*}$ Support Vector Learning, pp. 255-268. The MIT Press.

黒橋禎夫, 長尾真 (1998). 日本語形態素解析システム JUMAN version 3.61. テクニカル・レポー 卜, 京都大学大学院情報学研究科.

三輪哲（編） (2011). SSM 職業分類・産業分類の改定に向けて（科学研究費補助金基盤研究 A 「現代日本の階層状況の解明一ミクローマクロ連結からのアプローチ」研究成果報告書別冊）.大阪商業大学比較地域研究所・東京大学社会科学研究所 (2005). 日本版 General Social Surveys 基礎集計表・コードブック JGSS-2003.

Sebastiani, F. (2002). "Machine Learning Automated Text Categorization." ACM Computing Surveys, 34 (1), pp. 1-47.

盛山和夫 (2004). 社会調査法入門. 有斐閣.

高橋和子 (2000). 自由回答のコーディング支援について一格フレームによる SSM 職業コーディ

ング自動化システム一. 理論と方法, 15 (1), pp. 149-164.

高橋和子 (2002a). 職業・産業コーディング自動化システムの活用. 言語処理学会第 8 回年次大会論文集, pp. 491-494.

高橋和子 (2002b). JGSS-2000 における職業・産業コーディング自動化システムの適用. 日本版

General Social Surveys 研究論文集JGSS で見た日本人の意識と行動［東京大学社会科学研究所資料第 20 集 $], \mathbf{1}$, pp. 171-184.

高橋和子 (2003). JGSS-2001における職業・産業コーディング自動化システムの適用. 日本版

General Social Surveys 研究論文集 [2] JGSS で見た日本人の意識と行動［東京大学社会科学研究所資料第 21 集］, 2, pp. 179-191.

高橋和子 (2008). 機械学習による ISCO 自動コーディング. 2005 年 SSM 調査シリーズ 12 社

会調査における測定と分析をめぐる諸問題, 12, pp. 53-78.

高橋和子 (2011). ISCO 自動コーディングシステムの分類精度向上に向けて一SSM および JGSS

データセットによる実験の結果一. JGSS Research Series No. 8: 日本版総合的社会調査共

同研究拠点研究論文集 [11]，11, pp. 193-205.

高橋和子 (2016). 職業・産業コーディング自動化システム (平成 $25 \sim 27$ 年度科学研究費補助金

基板研究 (C)「社会調査の基盤を提供する自動コーディグシステムの Web 提供 : その国際化と汎用化」）。

高橋和子，須山敦，村山紀文，高村大也，奥村学 (2005a). 職業コーディング支援システム

(NANACO) の開発と JGSS-2003 における適用.日本版 General Social Surveys 研究論文集

[4] JGSS で見た日本人の意識と行動, 4, pp. 225-242.

高橋和子, 高村大也, 奥村学 (2005b). 機械学習とルールベース手法の組み合わせによる自動職

業コーディング. 自然言語処理, $12(2)$, pp. 3-24.

Takahashi, K., Takamura, H., and Okumura, M. (2005). "Automatic Occupation Coding with

Combination of Machine Learning and Hand-Crafted Rules." In Proceedings of the 9th International Conference on Pacific-Asia Knowledge Discovery and Data Mining (PAKDD'05),

Vol. 3518, pp. 269-279.

Takahashi, K., Takamura, H., and Okumura, M. (2008). "Direct Estimation of Class Membership

Probabilities for Multiclass Classification using Multiple Scores." Knowledge and Information

Systems, 19 (2), pp. 185-210.

高橋和子, 田辺俊介, 吉田崇, 魏大比, 李偉 (2013a). 確信度付き職業・産業コーディング自動

化システムの開発と公開. 数理社会学会第 55 回大会報告要旨集, pp. 38-41.

高橋和子, 田辺俊介, 吉田崇, 魏大比, 李偉 (2013b). Web 版職業・産業コーディング自動化シ

ステムの開発. 言語処理学会第 19 回年次大会論文集, pp. 769-772.

高橋和子，多喜弘文，田辺俊介 (2016). 職業コーディング自動化システム利用に関する評価一
社会階層研究を事例に一. 数理社会学会第 61 回大会報告要旨集, pp. 31-36.

Takahashi, K., Taki, H., Tanabe, S., and Li, W. (2014). "An Automatic Coding System with a Three-Grade Confidence Level Corresponding to the National/International Occupation and Industry Standard: Open to the Public on the Web." In Proceedings of the 6th International Conference on Knowledge Engineering and Ontology Development (KEOD 2014), pp. 369-375.

高村大也 (2010). 自然言語処理シリーズ 1 言語処理のための機械学習入門. コロナ社.

田辺俊介 (2006). ISCO と SSM 職業分類の相違点の検討一国際比較調査における職業データに

関する研究ノート一. 社会学論考, 27, pp. 47-68.

田辺俊介 (2008). SSM 職業分類と ISCO-88 の比較分析. 2005 年 SSM 調査シリーズ 12005 年

SSM 日本調査の基礎分析一構造 ・趨勢 $\cdot$ 方法一, 1, pp. 31-45.

轟亮, 杉野勇 (2013). 入門社会調査法. 法律文化社.

## 略歴

高橋和子: 東京女子大学文理学部数理学科卒. 2007 年東京工業大学大学院総合理工学研究科博士課程修了. 1993 年千葉敬愛短期大学専任講師, 1997 年敬愛大学国際学部専任講師，2001 年同助教授，2008 年より同教授. 博士（工学). 言語処理学会, 数理社会学会, 情報処理学会, 人工知能学会各会員.

多喜弘文 : 2005 年同志社大学文学部社会学科卒 (社会学専攻). 2011 年同大学大学院社会学研究科社会学科博士後期課程修了. 2012 年東京大学社会学研究所助教. 2014 年法政大学社会学部社会学科専任講師, 2016 年より同准教授.博士 (社会学). 日本社会学会, 国際社会学会, 日本教育社会学会, 数理社会学会各会員.

田辺俊介：1999 年東京都立大学人文学部卒 (社会学専攻)。2005 年同大学大学院社会科学研究科社会学専攻博士課程単位取得退学. 2007 年東京大学社会科学研究所助教, 2009 年同准教授. 2013 年より早稲田大学文学学術院准教授.博士 (社会学). 日本社会学会, 数理社会学会, アメリカ社会学会各会員.

李偉：2015 年東京工業大学大学院理工学研究科博士課程単位取得退学. 2016 年株式会社シービーエージャパン入社.

