# Bilingual KWIC一対訳表現抽出の可視化による翻訳支援

小川 泰弘 ${ }^{\dagger, \dagger \dagger} \cdot$ 外山 勝彦 $\dagger,+\dagger$
}

計算機による対訳表現抽出を可視化することにより, 対訳辞書の構築や翻訳を支援す るツール Bilingual KWIC を開発した. 本ツールは, 入力されたキーワードに対する 対訳表現を自動的に推定し，それらを含む原言語文と対象言語文をそれぞれ KWIC 形式で表示することにより，ユーザの翻訳作業などを支援する。技術的には，形態素解析などを利用せずに文字列情報だけから対訳を抽出するため, どのような言語対にも適用可能であり，さらには単語以外の表現に対しても対訳を表示することが 可能である。また対訳表現を KWIC 形式で表示することにより，システムの抽出誤 りに対する修正を容易にするだけでなく, 派生表現の獲得や複数の対訳表現の比較 も可能としている。本稿では, Bilingual KWIC の特徵と開発経緯について述べる. キーワード：翻訳支援, 対訳辞書構築, バイリンガル・コンコーダンサ, Dice 係数
## Bilingual KWIC-GUI Translation Support Tool Based on Bilingual Expression Extraction

\author{
Yasuhiro Ogawa ${ }^{\dagger, \dagger \dagger}$ and Katsuhiko Toyama $^{\dagger, \dagger \dagger}$
}

This paper proposes a GUI support tool for bilingual dictionary compilation and translation, called "Bilingual KWIC." Bilingual KWIC acquires bilingual expressions from a parallel corpus and displays the result in KWIC format. Displaying in KWIC format enables users to easily correct errors of word alignment and compare two or more types of equivalents. Since Bilingual KWIC does not use morphological information and uses only character-level information, it can deal with any language pairs and can acquire translation equivalents for any input other than words. In this paper, we introduce Bilingual KWIC and describe its features and development process.

Key Words: Translation Support Tool, Bilingual Dictionary Compilation, Bilingual Concordancer, Dice Coefficient

## 1 はじめに

機械翻訳システムの性能向上や大量のコーパスを伴なう翻訳メモリなどの導入により，機械支援翻訳 (CAT) が広く行われるようになってきている。その一方で，翻訳の対象となる文書の 内容が専門的である場合, その分野特有の専門用語や定型表現に関する対訳辞書が必要となる.

そうした辞書を人手で作成することはコストが高いため，あらかじめ翻訳された対訳コーパスか ら専門用語や定型表現の対訳を自動抽出する研究が盛んである (Matsumoto and Utsuro 2000). しかし, 自動抽出の結果は必ずしも正確ではなく, 間違った対訳表現を抽出したり, 対訳表現 の一部だけを抽出する場合がある。また，一つの語に対して複数の対訳表現を抽出した場合に は，訳し分けに関する知見が必要となる。

そこで，対訳表現を抽出するだけでなく, 対訳表現の各候補を, それが出現した文脈と一緒に 表示することによって, ユーザによる対訳表現の選定を支援し，対訳辞書構築を支援するシス テム Bilingual KWIC ${ }^{\circledR}$ を開発した. Bilingual KWICは，対訳抽出の技術と KWIC (KeyWord In Context) 表示 (Luhn 1960)を統合し, 文単位で対応付けされたパラレル・コーパスから，与 えられたキーワードとその対訳表現の候補をそれぞれ文脈付きで表示する.

Bilingual KWIC の開発過程については 5 章において詳しく述べるが, 最初は法律分野の対訳辞書構築を支援する目的で開発した。しかし，このシステムは対訳辞書構築だけでなく，翻訳支援にも有用であるため, その後に開発された法務省・日本法令外国語訳データベース・システ ム $(\mathrm{JLT})^{1}$ (外山, 齋藤, 関根, 小川, 角田, 木村, 松浦 2012 )においても採用されるに至った. JLT は, 日本の主要法令とその英訳, 法令用語日英標準対訳辞書, および日本法令の英訳に関す る関連情報をインターネット上において無償で提供するウェブサイトである。また, Bilingual KWIC は名古屋大学が開発した学内情報翻訳データベース NUTRIAD ${ }^{2}$ (福田, 外山, 野田 2013) でも採用され，学内文書の英文化を支援し, 大学の国際化に寄与している. NUTRIADのシステ ムは, 九州大学・熊本大学・東北大学でも導入され, Bilingual KWIC も同様に利用されている.

Bilingual KWIC の現在の目的は, 対訳辞書のようにあらかじめ登録された訳語と少数の用例 を提示するのではなく, 任意の入力キーワードに対して対訳表現を計算し，豊富なパラレル・ コーパスからの情報を一緒に提示することにより，従来の対訳辞書や翻訳メモリとは異なるア プローチでの翻訳支援を実現することである.

以下に本論文の構成を示す。まず 2 章において Bilingual KWIC の概要について述べ， 3 章に おいてその特徴を紹介する。 4 章において, Bilingual KWIC の技術的詳細を， 5 章においてそ の開発過程をそれぞれ述べる。 6 章ではユーザによる Bilingual KWIC の評価について述べ， 7 章では類似するシステムとの比較を行う． 8 章は本論文のまとめである.

## 2 Bilingual KWIC の概要

Bilingual KWIC の概観を図 1 に示す.これは Bilingual KWIC が「文脈検索」という名前で 採用されている JLT版での画面である。なお, Bilingual KWIC 自体は JLT に先立って開発さ れたものであり, 以降の説明は, 特に断わりがない限り, JLT 版以外の Bilingual KWIC に共通 するものである.

左上のキーワード入力欄にキーワードを入力し, その横の [検索] ボタンを押すと, 左側に原言語, 右側に対象言語で対応付けられた対訳文を表示する。その際, 原言語ではキーワードを中心 に，また，対象言語では自動的に推定したその対訳表現を中心に，それぞれ KWIC 形式で表示 する。また，注目したい文をマウスでクリックすると，その文全体が下側に表示される。その 際, コーパスが複数の文書から構成される場合には, 注目文の出典である文書名を表示できる.

右上の対訳表現入力欄には Bilingual KWIC が推定した対訳表現が表示されるが, それが間違っていたときには, ユーザが自分で適切な対訳表現をここに入力し, [訳語再検索] ボタンを押

図 1 Bilingual KWIC の概観

図 2 “negotiation”に対する実行結果

が推定した他の対訳表現が表示され，ユーザは別の対訳表現を選択することができる。なお， キーワードおよび対訳表現ともにコーパス中における出現回数がそれらのすぐ横に表示され，対訳表現選定の一助となっている.

また，KWIC 表示欄の上部にある [並び替え] と表示された部分をクリックすることにより，出力結果をソートすることが可能である。原言語欄もしくは対象言語欄の中心にある表現の左側・右側でそれぞれソートすることができる。これにより対訳表現や用例の比較が簡単に行え る. 図 1 では, キーワード「専用利用権」の右側に続く語を基準にソートされている.

なお, 図 1 では, 原言語が日本語, 対象言語が英語となっているが, キーワード入力欄に英単語を入力すれば，図 2 のように原言語を英語，対象言語を日本語として対訳表現の自動抽出 が行える。またキーワード・対訳表現ともに複合語を含め，任意の文字列を入力することがで きる。

## 3 Bilingual KWIC の特徵

Bilingual KWIC は次のようなことが可能であるという特徴を持つ.

(1) 対訳表現の抽出における誤りの訂正

(2) 派生表現の獲得

(3) 訳し分けに関する知見の獲得

(4) 対訳辞書との併用

(5) 対訳表現の指定

(6) 他の言語への応用

以下, これらの特徴を詳しく述べる.

## 3.1 対訳表現の抽出における誤りの訂正

Bilingual KWIC では, 自動対訳抽出における誤りをユーザが簡単に修正できる. 図 1 の例で は，JLT版で公開されている日本法令の日英対訳コーパスを「専用利用権」をキーワードとし て検索している。正しい対訳は, “exclusive exploitation right”であるが, 自動対訳抽出の結果 は “exclusive exploitation”となっている.しかし, 図 1 の KWIC 形式で表示された英語文にお いて “exclusive exploitation”の右側の文脈を見れば, “exclusive exploitation right” が対訳とし て正解であることが直観的に理解できる.

## 3.2 派生表現の獲得

Bilingual KWIC では，派生表現とその対訳を容易に獲得できる，図 1 の例では，「専用利用権」“exclusive exploitation right”の下に続いて表示される用例から「専用利用権者」という派生語と，その対訳 “holder of an exclusive exploitation right”を得ることができる.

このような特徴は対訳表現の抽出を支援するときに有用であるが，対訳表現に加えて，実際 の用例も表示されることから, Bilingual KWIC は翻訳支援に対しても有用である.

## 3.3 訳し分けに関する知見の獲得

翻訳支援システムとして捉えたとき, Bilingual KWIC は訳し分けに関する知見が容易に獲得 できる点が優れている。図 2 の例では, “negotiation”の対訳として，「譲渡」と「交涉」が表示 されている，そのような場合には，前後の文脈から，対訳語がどのように使い分けられている かを比較することが容易であり，この例では “between”が後続する場合は「交涉」と翻訳する のが適当であるといった知識を得ることができる。

## 3.4 対訳辞書との併用

Bilingual KWICでは，あらかじめ対訳辞書が用意されていれば，それを組み达んで併用する ことも可能である．辞書に対訳表現が登録されている場合は，その対訳を優先的に表示し，そ の後，自動的に推定した対訳表現を含む文を表示する，図 2 の例では，「譲渡」がこれに該当 し，辞書に登録されている対訳であることを示すために緑色で表示される。その下に続く「交渉」は自動推定された対訳であり，辞書に登録されているものと区別するために青色で表示さ れる。

JLT においては, 「法令用語日英標準対訳辞書」が公開されており, JLT 版 Bilingual KWIC に組み达まれている。

## 3.5 対訳表現の指定

Bilingual KWICでは，対訳表現の抽出に失敗した場合や，特定の対訳表現に注目したい場合

図 3 「検証」の訳語として“review”を指定した結果

は，対訳表現入力欄にそれを入力することにより，対訳を指定できる．図 3 の例では，「検証」 の訳語として少数ながら出現した “review”を入力することにより，その用例を表示している. なお，ユーザが指定した対訳表現は赤色で表示され，辞書にある対訳よりもさらに優先して表示される.

## 3.6 他の言語への応用

また Bilingual KWIC は，後述するように形態素解析を利用せず，文字レベルの情報だけを利用しているため，様々な言語対での利用が可能である。図 4 は, ベトナム語と英語の対訳コー パスを利用した例である ${ }^{3}$ 。なお，この例のように，言語の種類の判定が入力文字列からでは容易でない言語対で利用する場合は，入力言語を切り替えるトグル・ボタンをキーワード入力欄 の左に用意している.

図 4 ベトナム語-英語コーパスへの適用

## 4 Bilingual KWIC の技術的詳細

本章では, Bilingual KWIC の技術的な詳細について述べる。まず，対訳表現の自動抽出手法 について述べたあと，どのような文字列を対訳ぺアの単位とするかについて述べる.

## 4.1 対訳表現の自動抽出

本節では, Bilingual KWICにおける対訳表現の自動抽出の手法について述べる.

## 4.1.1 Dice 係数の利用

対訳コーパスから対訳表現を自動的に抽出する手法については, これまでも様々な手法が提案されている。

基本的な手法は，対訳コーパスから統計的に得られる情報をもとに類似度を計算するもので ある。すなわち, 対訳コーパスの中から対訳表現の候補を求め, 入力語との類似度を計算して, もっとも類似したものを対訳表現として抽出する．類似度としては，Dice 係数・相互情報量・ $\phi^{2}$ 統計量・対数尤度比などが知られているが, これらに関しては文献 (Matsumoto and Utsuro 2000) が詳しい。また，類似度として翻訳確率を利用する IBM モデル (Brown, Pietra, Pietra， and Mercer 1993)とそれを HMM に基づいて実装した GIZA++ (Och and Ney 2003) も広く利用されている. IBM モデルの場合，与えられた入力語の対訳表現を求めるのではなく, 原言語文中の各単語と対象言語文中の各単語の間に対応を付ける。さらに対応付けを単語の連続とし て表現されるフレーズに拡張したものとして, 統計的機械翻訳システム Moses (Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi, Cowan, Shen, Moran, Zens, Dyer, Bojar, Constantin, and Herbst 2007) が出力するフレーズ・テーブルも利用されている. GIZA++ P Moses は, 出現回数がある一定以上の単語やフレーズに対しては高い精度で対応を付けることが可能である. その他, 統計情報に加えて, 既存の対訳辞書など, 他の言語情報を利用する手法も提案されて いる (熊野, 平川 1994; 出羽 2004).

Bilingual KWICにおいては，より多くの言語対に適用できるようにするため，言語情報はで きるたけ利用せず，統計情報たけけから対訳表現を求めることとした。この場合, 高い精度をも つ GIZA++や Mosesの結果を利用することも考えられるが, GIZA++は単語, Moses はフレー ズを単位として対応を付けるため, 単語の一部などのような単位にそぐわない表現に対しては 対訳を推定することができない. Bilingual KWICでは，ユーザがキーワードを入力することを 前提としており, 特に日本語のように 1 単語の定義が曖昧な言語では, 入力キーワードがシス テムが想定する単位に合致しない場合が発生しやすいと考えられる。

そこで，どのようなキーワードに対しても対訳表現を計算できるよう， Bilingual KWICでは 類似度を計算する手法を採用した。類似度にも複数の候補があるが，文献 (北村, 松本 1997)

において, 候補間の類似度を計算する手法として相互情報量と Dice 係数を比較し, Dice 係数 の方が高い精度を出すことが示されている。これを参考にし, Bilingual KWICでも以下に示す Dice 係数を類似度として採用した。

$
\operatorname{Dice}(x, y)=\frac{2 \times \text { freq }(x, y)}{\text { freq }(x)+\text { freq }(y)}
$

ここで freq $(x)$ と freq(y) は，入力キーワード $x$ および対訳表現候補 $y$ がそれぞれ原言語コー パスおよび対象言語コーパス中に出現する回数であり, freq $(x, y)$ は, 対応付けられた文に $x$ と $y$ が同時に出現する回数である. よって， $0 \leq \operatorname{Dice}(x, y) \leq 1$ となる. 実際に Bilingual KWIC で使用する場合は，入力キーワード $x$ を固定した上で，Dice $(x, y)$ が最大となる $y$ を探すことに なることから，以下の式を用いる。

$
\hat{y}=\arg \max _{y} \frac{2 \times \text { freq }(x, y)}{\text { freq }(x)+\text { freq }(y)}
$

実装においては，まずキーワード $x$ が出現した文に対応する対訳文を集めて探索範囲とし，そ の中に出現するあらゆる候補 $y$ について上記の式 (1)を計算し, 最大となるものを求めている.

## 4.1.2 再帰的な対訳表現の抽出

上述の式 (2)を使用した場合, $\hat{y}$ は一つしか求められない. しかし, 実際には同じ入力キー ワードが複数の対訳表現をもつことがある. そこで, Bilingual KWICでは, 下記に示す方法で 複数の対訳表現を再帰的に抽出する.

まず，最初の $\hat{y}$ が求まった場合，探索範囲から $\hat{y}$ 含んだ文を削除する。そして残った文を 新たな探索範囲とし, 式 (2) を再度計算することにより, 異なる対訳表現を求める. 探索範囲 に含まれる文数や, $\hat{y}$ に対する Dice 係数の値が閥値以下になった場合は計算を終了し, そうで ない場合はさらに対訳表現を再帰的に求める.

単純に Dice 係数の値が大きな順に対訳候補とすると, 最初に求めた表現の部分文字列などが 含まれる場合があるが，既に抽出した対訳表現が出現しない文から対訳候補を求めることによ り，最初の候補とは別の対訳表現を抽出できる.

以上の方法により, 図 2 のように入力キーワードが複数の対訳表現をもつ場合に，それぞれ を抽出できる。

## 4.2 文字レベルの情報のみの利用

GIZA++ や文献 (北村, 松本 1997) を含め, 先行研究では日本語・英語とも形態素解析を利用するものが多いが, Bilingual KWIC では, 形態素解析を利用せずに文字レベルの情報だけを
用いている。ここで文字レベルの情報とは, 日本語の平仮名は対訳表現に含めない 4 , 英語の単語は空白で区切られる，といった情報である，具体的には，日本語は文字 $\mathrm{N}$ グラム，英語は単語 $\mathrm{N}$ グラムを用いて，ある程度の長さ $\mathrm{N}$ をつ対訳表現の候補を求めている。なお, $\mathrm{N}$ の最大値は言語ごとに指定できる.

ところで, 形態素解析を利用する利点として, 対訳表現抽出の精度向上が期待できる点が挙 げられる。特に動詞のように活用する語や, 英語名詞の複数形などは, 形態素解析を利用しな いと, 変化形が別の語として認識されてしまう.

しかし，形態素解析の誤りは対訳抽出に影響を与える，他の言語に応用する場合はその言語 に対応した形態素解析システムが必要といった問題もある. さらに, 形態素解析システムの辞書にない単位では利用できないという問題がある.

そうした点を考慮し, さらに対訳表現抽出の誤りを容易に修正できることから, Bilingual KWIC では形態素解析を利用しないこととした，それにより，語の一部だけをキーワードとして入力 するなど，柔軟な入力も可能になった，ただし，単語の途中からを候補対象とすると，精度や 速度の点で問題があるため, 接頭語として含まれている場合だを数え上げている。例えば, "search"の出現回数を数えるときには “searches", "searching", "searched", "searcher”なども含 めて数えている。これにより，動詞の活用形や名詞の複数形が規則変化する語については，形態素解析の利用なしでも，ある程度対処できている.

## 5 Bilingual KWIC の開発

本章では, Bilingual KWIC の開発について, その段階にそって述べる.

## 5.1 プロトタイプ版の開発

プロトタイプ版となる最初の Bilingual KWIC の実装は, 2003 年に筆者が独自に行った. PC 上でスタンドアロンで動作するように設計し, 使用した言語は Ruby, GUI作成のために Tk の ライブラリを利用した，Ruby はスクリプト言語であり，プログラム開発が容易である一方，実行速度が遅いという欠点がある. Bilingual KWIC の実装においては, Dice 係数の計算のため に文字列の出現回数を高速に数え上げる必要がある。 そこで，文字列検索の高速化のために， Suffix Array(山下 2000)のライブラリである sary 5 を使用した. なお，今日では当然であるが，文字コードには UTF-8 を採用した。これにより，図 4 の例のように，各種言語に対応した.

## 5.2 対訳辞書作成支援版の開発

プロトタイプ版 Bilingual KWIC は, JLT(外山他 2012)で公開される「法令用語日英標準対訳辞書」の構築において利用された (外山, 小川 2008)。その際には, この標準対訳辞書に収録 する対訳ぺアの候補を収集することが必要になるため, Bilingual KWIC 上から対訳ぺアを候補 として登録できるようにした。具体的には，登録したい単語を指定して右クリックすると図 5 に示すポップ・ウィンドウが表示されるようにした。このウインドウ上で, 必要に応じてデー 夕を修正・追加して，登録できるようにした。

実際に，このシステムがインストールされたノート $\mathrm{PC}$ を作業担当者に配布することにより，標準対訳辞書に収録する対訳ぺアの候補が収集された. この時点では, Bilingual KWIC が利用 する対訳コーパスの大きさは 39,560 文であったが, ノート PC 上で問題なく動作していた.

なお, この対訳ぺア登録機能は, 対訳辞書の構築には有用であるが, 翻訳支援の目的とは異 なるため，次節のウェブ対応版では採用しなかった.

## 5.3 ウェブ対応版の開発

プロトタイプ版はスタンドアロンな PC 上で起動するが, あらかじめ Ruby の処理系などを 用意する必要があり，インストールは簡単ではなかった。また，利用者が各自で対訳コーパス を用意する必要があり，広く使用してもらうことができなかった。

そこで多くのユーザに利用してもらうために, ウェブ・サーバ上で動作可能なバージョンを 開発した. 基本的なエンジンはプロトタイプ版と同じであるが， ウェブ・ブラウザを利用する

図 5 対訳ペア登録用ウィンドウ

ための GUI 部分の開発は業者に委託した。この時点で, ユーザ・インターフェイスも含めて, Bilingual KWIC は一通り完成した。

なお, Bilingual KWIC の完成後, 日本法令外国語訳データベースシステム (JLT) の開発が始 まったが，Bilingual KWIC は翻訳支援における有用性も認められ，2009 年のJLT 開設当初か ら「文脈検索」の名前で採用されている。その際には，より多くのウェブ・ブラウザに対応さ せるなどの改良を施した。これにより多くの一般ユーザに Bilingual KWICを利用してもらえ るようになった。

## 5.4 高速化

最初のプロトタイプ版では，対訳コーパスとして数万文程度のサイズを想定していた。しか し, JLT 版では新しい対訳法令が次々に追加されるため，コーパスのサイズが 10 万文を超える 段階において，実行速度の点で問題が発生した，特に入力キーワードの出現回数が 1 万を超え るような場合は，結果が表示されるまでに数十秒かかることもあった。

この問題には 2010 年から取り組み，以下の二つの方法で対処した。この手法は JLT 版には 適用していないが，1 章で述べた NUTRIAD 版において適用している.

## 5.4.1 対訳表現抽出の高速化

実行速度が遅い原因の一つは、コーパスが大きくなると対訳表現抽出に時間が掛かるためであ る. 式 (2)においては, $\hat{y}$ を求めるために, あらゆる対訳表現候補 $y$ について freq $(y)$ と freq $(x, y)$ の計算が必要となる。 $y$ は, 上限（デフォルトは日本語で 6 文字, 英語で 4 単語）までのあら ゆる $\mathrm{N}$ グラムを候補とするため, 入力キーワード $x$ が出現する文数が大きくなると, $f r e q(y)$ と freq $(x, y)$ の計算回数がそれだけ多くなる. このうち freq $(y)$ の計算は，コーパスの並び替えとイ ンデックス化を事前に行う Suffix Array を用いることにより，高速に実行できるため問題ない. しかし, freq $(x, y)$ に関しては, $y$ の出現回数を数える探索範囲が $x$ に依存して変化する．その ため，探索範囲を事前にインデックス化することが不可能であり，Suffix Array を用いた高速化 ができない。 そこでプロトタイプ版および JLT 版では，探索範囲内を順次 Nグラムに分割し， その出現回数を数え上げていた。

この freq $(x, y)$ の計算を高速化するため，コーパスの各文をあらかじめ一定サイズ以下の $\mathrm{N}$ グ ラムに分割したデータを別に保持し，それを数え上げることとした。すなわち，デフォルトで は日本語は 8 文字以下, 英語は 10 単語以下の $\mathrm{N}$ グラム単位であらかじめ分割したデー夕を保持 しておく，また実装においては，テキストデータ自体へのアクセスを高速化するために Tokyo Cabinet ${ }^{6}$ 導入した。
^{6}$ http://fallabs.com/tokyocabinet/
}

## 5.4.2 表示の高速化

実際の利用の上では, 表示速度においてもボトルネックがあった. 入力キーワード $x$ が出現 する文が多くなると，ブラウザ側に負担が掛かり，表示が遅くなっていた，そのため, JLT 版 においては，デフォルトで 100 文を超える分は表示しないこととし，オプションとして表示で きる文数の上限の設定を $200,400,800$ と変更できるようにした. このため, 入力キーワード を含むすべての対訳文を表示することができない場合があるが，通常の利用では， 800 文を表示できれば充分に比較ができると考えた。また，入力キーワードに文字列を付加したり，対訳表現を指定することにより，希望する対訳文を表示することができる.

しかし，JLT版においては，別の問題があった，JLT版においては，表示結果のソートをブ ラウザ側で実現していた。しかし, これもブラウザに負担を掛け, 表示が遅くなる結果となっ ていた。よってソート自体をサーバで実行し, その結果をブラウザ側に再送して再表示するこ とにより，高速化を実現した。

## 5.4.3 高速化の効果

上述した二つの高速化手法の効果を測定するために, 高速化を適用していない JLT 版と, 適用した NUTRIAD 版とにおける表示速度を比較した。具体的には, 出現回数が異なるキーワー ド 50 語を選び, そのキーワードを入力してから結果が表示されるまでの時間を測定した. 時間 の計測には, ウェブ・ブラウザを利用してウェブ・アプリケーションをテストするツールである Selenium WebDriver7を Ruby から使用した. 表示する文数の上限はデフォルト値である 100 と した。また，組み込まれている対訳辞書を併用した場合，対訳表現の自動推定の一部が省略さ れて訳語推定の時間が異なってくるため, 併用しない設定で測定した. その結果を図 6 に示す.

この結果から分かるように, 結果が表示されるまでの時間は出現回数が増えるに従って増加 する傾向にあるが，単純に比例する訳ではない。これは再帰的な対訳表現の抽出が主な原因と 考えられる．4.1.2 節で述べたように， Bilingual KWICでは，最初の対訳表現を求めた後，それ が含まれない残りの文から再帰的に対訳表現を求める。そのため, 多くの対訳表現をもつキー ワードほど，すべての対訳表現を抽出するまでの時間が長くなる.

JLT 版と NUTRIAD 版では, サーバの性能や登録されているコーパスの量・内容, 入力され るキーワードが異なるため, 単純な数値の比較はできないが, 高速化を施した NUTRIAD 版の 方がキーワードの出現回数が増えた場合でも，実行時間の増加が緩やかであり，高速化手法が 有効であったことが分かる.

図 6 出力時間の比較

## 6 ユーザによる評価

本章では，実際に利用したユーザに対するアンケートに基づく Bilingual KWIC の評価につ いて述べる.

## 6.1 アンケートの対象と内容

法学部の講義の一環として法令翻訳の課題が実施されており, 受講生は Bilingual KWICを 利用して法律文を翻訳している，今回は，この講義の受講生に Bilingual KWIC の評価を依頼 した。

受講生は，まず初回の講義において，使用する道具に関する説明なしで与えられた法律文を 翻訳した。それから，次の回の講義において JLT 版の Bilingual KWIC である「文脈検索」の 説明を受けた後，改めて別の法律文を翻訳した。なお，説明の内容は，キーワードを入力して 結果が表示される例を示すという単純なものであり，一般のユーザがウェブサイトに辿り着い てキーワード入力を実行し，その動作を理解する場合と同程度と想定した.

Bilingual KWIC を使用しない場合と使用した場合の両方の翻訳を試みることにより，Bilingual KWIC が翻訳に有用であったかを評価してもらった，評価項目は，表示の見やすさ（視認性）・

図 7 ユーザによる評価結果

訳語の推定精度（推定精度）・表示速度・役に立ったか（有用性）に関する満足度であり，それ ぞれ 5 段階で評価してもらった。

## 6.2 評価結果

受講生 49 人に対するアンケートの集計結果を図 7 に示す. 視認性と訳語の推定精度に関して は, 約 5 割が満足している一方で，表示速度に関しては 4 割以上が不満を感じている。JLT版 の Bilingual KWIC には， 5.4 節で述べた高速化が適用されていないため，その点も低い評価に 繋っていると考えられる。しかし, 有用性に関しては 8 割以上が肯定的な評価であり, Bilingual KWIC が翻訳支援として役に立つことが示された.

## 7 関連研究

コーパスに対して検索や分析を行うツールはコンコーダンサと呼ばれるが, これを 2 言語コー パスに拡張したものはバイリンガル・コンコーダンサもしくはパラレル・コンコーダンサと呼 ばれる. Bilingual KWIC はバイリンガル・コンコーダンサの一種であると言える。本章では, いくつかのバイリンガル・コンコーダンサについて紹介し, Bilingual KWIC との違いについて 述べる。

文献 (内山，井佐原 2003) における翻訳メモリの利用方法はバイリンガル・コンコーダンサと いえる。ここでは，与えられたキーワードの日本語コーパスにおける出現を KWIC 形式で表示 し，コーパス中においてキーワードと良く共起した日本語単語と英語単語を提示する。ユーザ が対訳候補となる英語単語を選ぶと，それに基づいた絞り込み検索を行い，対訳文のぺアを別

ウィンドウに表示する，ただし，別ウィンドウに表示される対訳文のペアでは, キーワードと対訳候補の部分がそれぞれ下線で明示されるが，中心に揃えて表示される訳ではない. Bilingual KWIC では，最初に対訳候補を自動的に決定する点，任意の対訳表現を指定できる点，原言語 だけでなく対象言語も同時に KWIC 形式で表示する点が異なる.

TransSearch ${ }^{8}$ (Macklovitch, Simard, and Langlais 2000) はオンラインのバイリンガル・コン コーダンサであり，原言語文と対象言語文を左右に並べて表示する，当初は原言語文中の入 カキーワードがハイライトされるだけであり，対訳語はユーザが推測する必要があった．文献 (Bourdaillet, Huet, Langlais, and Lapalme 2010)による改良により，対訳語の自動推定機能が追加され, 対訳語はハイライトされるようになったが, KWIC 形式の表示は導入されていない.一方で, 単数形と複数形などのように類似した訳語をまとめるなど, Bilingual KWICにはない 機能を備えている.

Linear B(Callison-burch and Bannard 2005) はパラレル・コーパスを翻訳メモリとして捉え，検索できる翻訳メモリというコンセプトに基づくバイリンガル・コンコーダンサである。原言語文と対象言語文が上下交互に表示される形式であり，KWIC 形式は導入されていない．対訳語は自動推定されるが，同じ対訳語を含む文が多数ある場合，その一部だけを表示し，複数の 対訳語が同じ画面に表示されるようになっている点が Bilingual KWICとは異なる.

なお，TransSearch および Linear B の自動推定は GIZA++ や Moses などで利用される単語 やフレーズの対応付け技術を応用したものであり, キーワードが入力される前にあらかじめ推定している点が Bilingual KWIC と異なる。よって, 両者では対訳自動推定の精度をいかに向上させるかが重視されており, 特に文献 (Bourdaillet et al. 2010)では様々な自動推定の方法が 比較・検討されている。一方, Bilingual KWIC では表示方法を工夫することにより，ユーザが 自動推定の誤りを訂正しやすくするというアプローチで，自動推定の誤りに対処している.

原言語文と対象言語文の両者を KWIC 形式で表示するバイリンガル・コンコーダンサとして は ParaConc ${ }^{9}$ (Barlow 2004) が挙げられる。ただし，その KWIC 表示は半自動というべきもの である。ユーザがキーワードを入力すると，原言語文は上ウィンドウにおいて KWIC 形式で表示されるが，対象言語は下ウィンドウに通常の形式で表示される。その際, 対訳語の候補が示 されており，それをクリックすることにより KWIC 形式での表示に変化する．ただし，原言語文と対象言語文が上下のウィンドウで完全に分割されており, 例えば上ウィンドウの 3 文目に 対応する文は下ウィンドウの 3 文目に表示されるといった具合であり, 左右に並べて表示する Bilingual KWIC と比べた場合，原言語文と対象言語文の対応は分かりにくい。なお，対訳語候補の選出方法は出現頻度に基づくものであり, Dice 係数と類似したものと考えられるが, 具体

的な計算式が掲載されていないため，詳細は不明である.

## 8 まとめ

本論文では，対訳表現抽出を可視化することで翻訳を支援する Bilingual KWIC の開発につ いて述べた. Bilingual KWICは，任意の入力キーワードに対して対訳表現を自動抽出し，パラ レル・コーパス中での用例と一緒に提示することにより，ユーザの翻訳作業を支援する.

本システムは，既に述べた通り，法務省・日本法令外国語訳データベースシステム (JLT) お よび名古屋大学・学内情報翻訳データベース NUTRIAD において採用されている.

現在，JLT では 36 万文 150 MB 以上からなる対訳コーパスを用いて Bilingual KWIC を運用 している. 出現回数の少ない入力キーワードに対しては問題なく動作しているが, 5.4 節で述 べた高速化が適用されていないため, 出現回数が多いキーワード，特に出現回数が 1 万回を超 えるような場合には結果が表示されるまでに数十秒かかることがある。また，高速化が適用さ れた NUTRIAD 上の実装においても, 出現回数が極端に多いキーワードに対しては応答に時間 がかかっており, Bilingual KWICの一層の高速化が求められている。 それに対しては, 出現回数や入力頻度の多いキーワードに対する計算結果をキャッシュしておくなどの対応を検討して いる．さらには， Moses などを利用してフレーズ・テーブルをあらかじめ計算しておき，入力 キーワードがフレーズ・テーブルにある場合はその結果を，そうでない場合はDice 係数により その場で計算するなどのハイブリッドな手法を導入することにより, 高速化と高精度化を同時 に実現する方法も検討している。

## 謝 辞

Bilingual KWIC の開発にあたっては, ウェブ版インターフェイスの開発，高速化などにおい て株式会社リーガルアストレイに協力していたたいた，ユーザによる評価実験においては，名古屋大学大学院法学研究科附属法情報研究センターの中村誠特任准教授と佐野智也特任講師に 協力していただいた.

## 参考文献

Barlow, M. (2004). "Parallel Concordancing and Translation." In Proceedings of ASLIB Translating and the Computer, Vol. 26.

Bourdaillet, J., Huet, S., Langlais, P., and Lapalme, G. (2010). "TransSearch: from a Bilingual Concordancer to a Translation Finder." Machine Translation, 24 (3-4), pp. 241-271.

Brown, P. F., Pietra, V. J. D., Pietra, S. A. D., and Mercer, R. L. (1993). "The Mathematics of Statistical Machine Translation: Parameter Estimation." Computational Linguistics, 19 (2), pp. 263-311.

Callison-burch, C. and Bannard, C. (2005). "A Compact Data Structure for Searchable Translation Memories." In 10th EAMT Conference: Practical Applications of Machine Translation, pp. 59-65.

福田薫, 外山勝彦, 野田昭彦 (2013). 学内情報翻訳データベースの構築と運用. 大学 ICT 推進協議会 2013 年次大会論文集, pp. 146-152.

出羽達也 (2004). 対訳文書から自動抽出した用語対訳による機械翻訳の訳語精度向上. 電子情報通信学会論文誌. D-II, 情報・システム, II-パターン処理, 87 (6), pp. 1244-1251.

北村美穂子, 松本裕治 (1997). 対訳コーパスを利用した対訳表現の自動抽出. 情報処理学会論文誌, $38(4)$, pp. 727-736.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the ACL on Interactive Poster and Demonstration Sessions, ACL '07, pp. 177-180, Stroudsburg, PA, USA. Association for Computational Linguistics.

熊野明, 平川秀樹 (1994). 対訳文書からの機械翻訳専門用語辞書作成. 情報処理学会論文誌, 35 (11), pp. 2283-2290.

Luhn, H. P. (1960). "KeyWord-In-Context Index for Technical Literature (KWIC Index)." American Documentation, 11 (4), pp. 288-295.

Macklovitch, E., Simard, M., and Langlais, P. (2000). "TransSearch: A Free Translation Memory on the World Wide Web." In 2nd International Conference on Language Resources and Evaluation (LREC), pp. 1201-1208.

Matsumoto, Y. and Utsuro, T. (2000). "Lexical Knowledge Acquisition." In Robert, D., Hermann, M., and Harold, S. (Eds.), Handbook of Natural Language Processing, pp. 563-610. Marcel Dekker.

Och, F. J. and Ney, H. (2003). "A Systematic Comparison of Various Statistical Alignment Models." Computational Linguistics, 29 (1), pp. 19-51.

外山勝彦, 小川泰弘 (2008). 自然言語処理の応用に基づく法令外国語訳支援. 人工知能学会誌, 23 (4), pp. 521-528.

外山勝彦, 齋藤大地, 関根康弘, 小川泰弘, 角田篤泰, 木村垂穂, 松浦好治 (2012). 日本法令外国語訳データベースシステムの設計と開発. 情報ネットワーク・ローレビュー, 11, pp. 33-53.

内山将夫, 井佐原均 (2003). 日英新聞記事対応付けデータを用いた翻訳メモリと言語横断検索.
情報処理学会全国大会講演論文集, 65-5 巻, pp. 355-358.

山下達雄 (2000). 用語解説「Suffix Array」. 人工知能学会誌, 15 (6), p. 1142.

## 略歴

小川 泰弘：1995 年名古屋大学工学部情報工学科卒業. 2000 年同大学院工学研究科情報工学専攻博士課程後期課程修了. 同工学研究科助手, 同情報科学研究科助教を経て，2012 年名古屋大学情報基盤センター准教授（同大学院情報科学研究科兼担)，現在に至る．博士（工学），自然言語処理および法律情報処理に関する研究に従事. 言語処理学会, 情報処理学会, 電子情報通信学会各会員.

外山 勝彦：1984 年名古屋大学工学部電気学科卒業. 1989 年同大学院工学研究科情報工学専攻博士課程満了. 同工学部助手, 中京大学情報科学部講師,同助教授, 名古屋大学大学院工学研究科助教授, 同情報科学研究科助教授を 経て，2013 年名古屋大学情報基盤センター教授（同大学院情報科学研究科兼担). 現在に至る. 工学博士. 論理に基づく知識処理, 自然言語処理に関する 研究に従事. 近年は法制執務支援や法令翻訳支援に関心を持つ. 言語処理学会, 電子情報通信学会, 情報処理学会, 人工知能学会, 日本認知科学会, ACL 各会員.

$(2016$ 年 5 月 20 日 受付 $)$
$(2016$ 年 8 月 3 日 再受付 $)$
$(2016$ 年 9 月 15 日 採録)


# 多様性の導入による推薦システムにおけるユーザ体験向上の試み

関 喜史 $\dagger,+\dagger$ ・福島 良典 $\dagger \cdot$ 吉田 宏司 $\dagger$ ・松尾 豊 $\dagger \dagger$
}

推薦システムのユーザ体験を高めるために重要な指標の 1 つが多様性 (Diversity) で ある。多様性は推薦システムが提示するリスト内には様々なコンテンツが含まれる ベきという考え方であり, 過去の研究では多様性が含まれるリストの方がユーザに 好まれるとされている。しかし実際のサービス上で推薦システムを検証したという 報告は少なく，サービス上で多様性がユーザにどのような影響を与えるのかは明ら かになっていない。本研究では実際にサービスとして提供されているウェブページ 推薦システムを分析し, その推薦システムに多様性を導入して比較を行った事例に ついて報告する。まず多様性が導入されていない推薦システムのユーザ行動を分析 し, 結果としてリストの中位以降に表示するウェブページに課題があることを明ら かにした。その上で多様性を導入し, 多様性のない既存システムとサービス上での ユーザ行動を比較した。結果として継続率やサービス利用日数が有意に改善してい ることを示し, 従来研究で示されていた多様性を含む推薦リストの方がユーザに好 まれるということを実サービス上で示した。そして利用日数が増えるに従ってリス ト全体のクリック数が改善していくこと，特にリスト下部のクリック率が多様性の ない手法では下がっていくのに対して，多様性のある手法では向上していくことを 示した。

キーワード：推薦システム，多様性，キュレーション，ウェブサービス，ユーザ体験
## Improving User Experience for Recommender System using Diversity

Yoshifumi Seki $^{\dagger}$, Yoshinori Fukushima ${ }^{\dagger}$, Koji Yoshida $^{\dagger}$ and Yutaka Matsuo $^{\dagger \dagger}$

Diversity is an important indicator for improving user experience in recommender systems. Previous research indicate that people prefer diverse recommended item lists. However, few studies have experimented with online user experience of recommender systems owing to lack of clarity regarding the effects of diversity of recommender systems on user experience. This paper reports the online experience of diversity of web service recommender systems. We analyzed the recommender system without diversity for user activity in web services. As a result, the second half of the recommended list is underwhelming. We have constructed a diverse recommender system by decreasing user features, and have compared our system to the existing system for user activity in web services. Consequently, our system has succeeded in improving the weekly retention and active rates. Therefore, the number of clicks on the recommended list have increased.

Key Words: Recommender Systems, Diversity, Curation, Web Service, User Experience

## 1 はじめに

インターネットを通じたサービス利用はスマートフォンの普及を背景に近年ますます増加し ている (総務省 2014)，スマートフォンでの各種サービスの利用はこれまでの PC を経由して利用するインターネットサービスに比べて, 画面の大きさや操作性という面で大きく制限されて おり，サービス提供者はスマートフォンに合わせたユーザ体験を新たに構築する必要に迫られ ている.

このような背景の中で推薦システムに注目が集まっている。推薦システムはユーザの興味関心に合わせて商品などを提示することを目的としたシステムであり, Amazon ${ }^{1}$ での商品推薦や, Facebook2での友人推薦をはじめとして幅広く利用されている. 画面の大きさや操作性が制限さ れているスマートフォンにおいて，推薦システムを用いてユーザに合わせて最適な選択肢を提示することでユーザ体験を大きく改善することが期待されており，今後様々な場面での利用が 進んでいくと考えられる。

このような背景から推薦システムのユーザ体験に関する研究が近年注目を集めており，その 中で重要だと言われている指標の 1 つに多様性 (Diversity) がある. 推薦システムが悪いとその サービスが悪いとみなされると指摘されており (Cosley, Lam, Albert, Konstan, and Riedl 2003),推薦システムのユーザ体験を考慮することはそのサービス設計のためにも重要である．多様性が ユーザにもたらす影響については Ziegler らの研究がよく知られており (Ziegler, McNee, Konstan, and Lausen 2005), 多様性を含んだリストをユーザに提示するとユーザは自分に最適化されて いないものが含まれていることは認識するが, 多様性が含まれたものを好むという結果が報告 されている.

また推薦システムについては FilterBubble という問題が指摘されているが, その問題への対応 のためにも推薦リストの多様性が重要であると言われている (Pariser 2011). ジャーナリストで あるイーライ・パリサーは検索エンジンや SNS (Social Network Service) が推薦システムの技術 を用いてパーソナライズ化されていくことに対して, 情報のタコツボ化が起こることを懸念し,人々が正しい意思決定をすることを阻害していると警鐘を鳴らした。その動きに対応して推薦 システムに関する国際会議である Recsys3では, 2011 年に FilterBubble に関するワークショッ プを開催し, FilterBubble 問題に関する見解を示した (Resnick, Konstan, and Jameson 2011). その中で FilterBubble とパーソナライズはトレードオフであること，すべての情報を人が網羅
^{1} \mathrm{http} / /$ www.amazon.com/

2 https://www.facebook.com/

3 https://recsys.acm.org/
}

することは不可能なのでフィルタリング技術は必要であることを指摘した上で，推薦システム を作る過程において，そのシステムの説明性，透明性を担保すること，推薦される個々のアイ テムだけでなくリスト全体を評価し，多様性も考慮して設計することが必要であるとした

このような背景から近年推薦システムを構築する上で多様性を考慮することは一般的になっ たが，推薦結果の多様性がユーザやサービスにどのような影響をあたえるかについては分かっ ていない点が多い，多様性に関する研究の多くは多様性がユーザ体験を向上させるという前提 に立っているが，关の根拠はユーザへのアンケートによるものであり，サービスにどのような 形で利益をもたらすかについては明らかになっていない.これは推薦システム研究の多くが過去のデータを用いたオフラインテストで行われており，実際にサービス上でシステムを提供し て比較した例が少ないことが要因である。

本研究の目的は推薦システムを用いて提供されているサービスに対して多様性を導入し，推薦結果の多様性がユーザに与える影響について明らかにすることである。本研究ではウェブペー ジ推薦システムを提供しているグノシー4というサービスにおいて，推薦システムに多様性を導入しそのユーザ行動への影響について報告する。まず多様性がない既存システムにおけるユー ザの行動を分析し，どのような特性をもったシステムであるかを示した。その上で多様性を導入したユーザ減衰モデルを構築した上で実際にサービス上でユーザに対して提供し, 既存シス テムとの比較を行った. その結果多様性がサービスの継続率の改善や利用日数の増加という形 でユーザの満足度を高めていることを示した。これはユーザは多様性を含むリストの方を好む という従来研究で指摘されていた点がサービス上に打いても有用に働くことを示したといえる。 また利用日数が浅い段階ではユーザがクリックするウェブページの数は既存システムと同程度 であるが，利用日数が増えるにしたがって多様性をもったユーザ減衰モデルのほうがクリック するウェブページの数が増えていくことを明らかにした．そして多様性のない既存システムで は, 利用日数が増えるに従って推薦リスト下部のクリック率が下がっていくのに対して, 多様性を取り入れたユーザ減衰モデルでは，推薦リスト下部のクリック率が向上していくことを示 した。これは従来研究は確認できなかった多様性の中長期における影響を示したものである.

本研究では実際に事業として開発・運用されているウェブサービスを利用しているため, ビ ジネス上の制約により用いている手法をすべて公開することはできない．既存システムのユー ザ行動の分析によって推薦システムとして有効に作用していることを示すことによってその代 わりとしたい. 本研究の目的は多様性がユーザ体験にどのような影響を与えるかについて論じ ることであり，手法が非公開であることが本研究の結果に与える影響は軽微であると考える.

以下に本論文の構成を示す. 2 章に関連研究と本研究の位置付けを示す. 3 章において本研究 で利用するグノシーというサービスと, そこで用いられている推薦システムについて紹介し, そ

のシステムのユーザ行動とその課題について分析する． 4 章で前章で述べた課題を元に推薦シ ステムに多様性を導入する方法について述べる。 5 章で既存システムと比較手法の比較実験を 行い, 推薦システムの多様性がサービスにもたらす影響について考察し, 6 章で本研究のまと めを行う。

## 2 関連研究

本章では本研究の関連研究についてまとめる. 推薦システムの初期の研究では検索エンジン と同様に結果の適合度によって推薦システムが評価されていた (Jannach, Zanker, Felfernig, and Friedrich 2010). しかし Herlocker らの研究によって多様性, 意外性, 新規性などが推薦システム のユーザ満足度を高める可能性があると指摘され (Herlocker, Konstan, Terveen, and Riedl 2004),現在では Konstan らが推薦システムとユーザ体験に関する研究についてまとめたように様々な 試みがなされている (Konstan and Riedl 2012). 多様性に関する研究としては Ziegler らの研究が よく知られている (Ziegler et al. 2005). Ziegler らはリスト内の多様性を表す intra-list-similarity という多様性に関係する指標を提案し, 通常の類似度による推薦との重み付け和によって推薦 を行う推薦システムを提案した。本の推薦システムによって多様性を持つシステムのユーザへ のアンケートを行い，ユーザは自分に最適化されていないことは認識するものの，多様性が含 まれている推薦リストのほうが好ましいと答えた。この結果が多様性が推薦システムにおいて 重要だとされる根拠となり，推薦システムにおいて多様性を考慮する研究が数多く生まれてい るが，多様性がユーザに与える影響についてより踏み込んた分析は我々の知る限りでは行われ ていない (村上, 森, 折原 2009; Zhang and Hurley 2008; Lathia, Hailes, Capra, and Amatriain 2010). 本研究は実サービスでの推薦システムの比較を行うことで, 多様性がユーザに与える影響について新たな示唆を与えるものである.

推薦システムのユーザ行動に関する知見が少ない理由として実際にサービス上で行われた実験 が少ないことが挙げられる。ここではサービス上で行われた実験をいくつか紹介する．Davidson らは Youtube において推薦システムを導入した際の効果について報告した (Davidson, Liebald, Liu, Nandy, Van Vleet, Gargi, Gupta, He, Lambert, Livingston, and Sampath 2010). そのシス テムは co-view を用いた単純なものであるとされており, 手法の詳細については公開されていな いが，単純な人気ランキングを表示するのと比べて $207 \%$ クリック率が向上したと報告されてい る. Belluf らはブラジルの EC サイトを対象に $5 \%$ のユーザに対して推薦システムを適用しユー ザ行動の差を分析する研究を行い, 結果として 8-20\%の売上の向上が見込めることを報告して いる (Belluf, Xavier, and Giglio 2012). なおこちらの研究においても推薦システムの手法の詳細 は公開されていない。サービス上での評価とは少し異なるが, Fleder らは推薦システムを経済 シミュレーションにより分析し (Fleder and Hosanagar 2007), 経路依存性が存在すること, 推
薦システムによってその特性が様々に変わることを指摘している. このように推薦システムが サービスにどのような影響を与えるかを調べた研究はまだ少ない．本研究ではウェブページ推薦を行うサービスであるグノシー上において提供する推薦システムを対象に実験を行い，推薦 システムがどのように利用されており，多様性がサービスにどのような影響を与えているかを 実データを分析することで示す.

## 3 グノシーの推薦システム

本研究は株式会社 Gunosy が提供している情報キュレーションサービスであるグノシー内に おいて行われている，本章ではグノシーがどのようなサービスなのかを述べ，サービス内で用 いられている推薦システムの概要を説明し, 本システムがどのような特性を持っているのかを いくつかの実験の結果を元に説明する。その上で本システムの課題について分析を行い, 多様性がどのような影響を与えるかを考察する.

## 3.1 グノシーについて

グノシーは株式会社 Gunosy が運営する情報キュレーションサービスである. 2011 年 9 月に サービスを開始し，翌年 11 月に法人化された．スマートフォンアプリケーションを中心にサー ビスを展開しており，アプリケーションのダウンロード数は 2016 年 10 月で 1600 万を超えてい る国内最大級の情報キュレーションサービスである 5.

情報キュレーションサービスはウェブ上の様々なコンテンツを取捨選択し, サービス上でユー ザに提示するサービスである。国内ではグノシーの他に Smartnews ${ }^{6}$, Anntena $^{7}$, NewsPicks $^{8}$ 等 がよく知られている．情報キュレーションサービスで扱うコンテンツはニュースが中心ではあ るが，コラムやブログ，まとめサイトなど様々なコンテンツを扱っていることが多い. 2014 年 に矢野経済研究所が行った調査ではキュレーションサービスの市場規模は 2012 年は 60 億円程度であったが，2014 年には 178 億円，2017 年には 395 億円と急成長していくとしている (矢野経済研究所 2014$)$.

本研究は 2011 年 9 月のサービスリリース時から 2012 年末までの期間を対象に行われたもの である。その期間においてグノシーは Twitter ${ }^{9}$, Facebook, はてなブックマーク10のアカウント を連携することにより，登録したユーザのそれぞれのサービス内での行動から 1 日 25 件のウェ

ブページをユーザに提示するサービスを提供していた。提示されたコンテンツはウェブブラウ ザでログインして見ることができる他，登録したメールアドレスに指定した時間に送ることも できる．現在のグノシーではこの機能は ‘マイニュース’というサービス上の一部の機能とし て提供されている.

## 3.2 グノシーの推薦システムの概要

本節ではグノシーで利用されている推薦システムがどのようなものかについて述べる。 シス テムの詳細についてはビジネス上の制約により紹介することはできないが，本研究の目的は多様性がもたらすユーザ体験の変化を明らかにすることであり, システムの詳細が明らかでなく ても問題はないと考える.

グノシーの推薦システムは内容ベースフィルタリングをベースにしたシンプルなものである (Jannach et al. 2010). 推薦対象となるウェブページ集合 $W$ とユーザ集合 $U$ を考える。ここで あるウェブページ $w \in W$ がユーザ $u \in U$ にどれだけ好まれるかの予測値を $r$ として表す.こ の予測値は正の値をとり，正規化されておらず值域は $[0, \infty)$ となる.この評価値を元にユーザ $u$ に対して $r$ が大きい順にウェブページを $w_{1}, w_{2}, \ldots, w_{|W|}$ と並べると, $w_{1}, \ldots, w_{K}$ のウェブペー ジがユーザに提示するウェブページのリストとなる．Kはユーザに提示するウェブページの個数で, Gunosy の場合は $K=25$ となる. 多くの内容ベースフィルタリングによる推薦システム がそうであるように，ユーザ $u$ の興味関心とウェブページ $w$ の特徵量を共通の $N$ 次元べクトル 空間で表現し，評価値 $r$ はべクトルの類似度により求められる.

ウェブページ特徴量 $\vec{w}$ とユーザ特徴量 $\vec{u}$ は単語によって構築される共通の次元空間を持って おり，評価関数はウェブページの特徴量 $\vec{w}$ とユーザ特徵量 $\vec{u}$ と内積をべースに重み付けや正規化にいくつかのヒューリステイクスを用いている.

ウェブページの特徴量 $\vec{w}$ 構築にはウェブページ内のテキストにおける単語の TF-IDF 値を 出現位置によって重み付けした值をべースに, そのウェブページが誰によって書かれたかによっ て幾つかの単語に值が追加されるルールや，そのウェブページについて SNS，ソーシャルブッ クマークサービス, ブログなどの外部のウェブサイトに投稿された内容を解析した結果なども 用いている.

ユーザの特徴量 $\vec{u}$ にはサビス登録時は連携したサービスでのプロフィール文などから構築 した特徵量と，連携したサービスに投稿したウェブページとグノシー内でクリックしたウェブ ページの特徴量 $\vec{w}$ 重み付け和を組み合わせたものを利用している.

このように手法は様々なルールやヒューリスティクスを含む形で構築されている. ウェブペー ジの特徴量を生成するための詳細や連携サービスからの特徴量抽出, 重み付けの詳細などは事業上の理由により公開することができない. しかし本研究の目的は多様性を導入した際のユー ザ行動の変化を明らかにすることであるため，多様性を導入した手法と既存システムで非公開

図 $1 r$ とクリック率の関係

にしているウェブページの特徴量 $\vec{w}$, ユーザの特徴量 $\vec{u}$, 評価値関数 $f$ は共通であることと, 既存システムにおけるユーザ行動の分析が十分に行われていることで, 本研究の目的と結果の有効性に対する影響は軽微であると我々は考えている。

まず本システムが推薦システムとして有効に作用しているのかを検証する。本システムはユー ザ $u$ がウェブページ $w$ に興味の持つ度合い $r$ を求めている. $r$ が適切に求められているのであ れば， $r$ が高ければ高いほどユーザ $u$ がウェブページ $w$ を閲覧する確率は高くなると考えられ る. 2012 年 5 月から 9 月にサービスを利用した全ユーザに対して, 推薦された記事の $r$ とその 記事のクリック率を比較し相関関係を求めた。 各ウェブページの $r$ を $0 \sim 9.9$ まで 0.1 刻みとそ れ以上に分け，各区分でのクリック率を 多ックしたユーザ数 として求める.

クリック率と $r$ の関係を図 1 に示す。相関係数は 0.958 となり, この結果からクリック率と $r$ には強い正の相関があることが示された. このことからウェブページのクリック率がユーザの 興味関心の度合いを示すと仮定すれば， $r$ はそのウェブページに対するユーザの興味関心の度合いを示すことができていると考えられる.

## 3.3 表示位置とクリック率

本節では記事の表示順位がクリック率にどのような影響を及ぼしているのかについて述べ，多様性の導入が本システムにどのような影響をもたらすのかについて考察する．本システムで はユーザごとに $r$ の大きい順に 25 件のウェブページを縦に並べて提示している. これは一般的 な検索エンジンが検索結果を表示するのと似ており，検索エンジンのクリック率は順位によっ

て変動することが知られている (Manning, Raghavan, and Schütze 2008). 前節では $r$ とクリッ ク率に強い相関があることを示したが， $r$ が高ければ本システムでは高い位置に表示されるこ とになる。本システムにおいてリスト内での表示位置がウェブページのクリック率にどのよう な影響を与えているのかを調べるために 2 つの実験を行った.

第 1 の実験として一部のユーザに対して推薦結果のリストを逆順に表示し比較を行った。本 システムでは通常 25 件のウェブページを $r$ の大きい順に表示しているが, この実験では $k$ 番目 のウェブページを $26-k$ 番目に表示するようにした. つまり元々 1 番目に表示されていたウェ ブページが 25 件目に表示され，25 番目に表示されていたウェブページが 1 番目に表示される ことになる. 対象ユーザとしてアクティブなユーザの中から 2,000 人のユーザをランダムに抽出し，一定期間実施した。この実験の目的はウェブページのクリック率が表示位置によってど の程度変わるのかを知ることである。もし前節で示した $r$ とクリック率の相関関係が， $r$ が高い ウェブページが上位に表示されることによるのであれば，逆表示であっても最上位に表示され たウェブページのクリック率は高くなり, 最下位に表示された $r$ の高いウェブページのクリック 率は低くなる。図 2 に順表示と逆表示での位置ごとのクリック率を比較したグラフを示す.こ こでクリック率は前節とは異なり，そのリスト内のウェブページを 1 つ以上クリックしたユー ザを母数として求めている。まず順表示のほうのクリック率を見ると, 順位が高いほどクリッ ク率が高くなることがわかる。またリストの最下部で若干の上昇がみられるが, これはリスト の最下部はスクロールが止まるため若干クリック率が上がるためであると考えられる。次に逆

図 2 順表示と逆順表示の際のクリック率の比較
順表示のクリック率をみると, 最上部は少し高いものの順表示と比べてると大幅に低く, その後 5 番目からゆるやかに上昇しだし，最下部では最上部と同じようなクリック率を計測した，逆表示において最上部以外は順位が下がるにつれてクリック率が上昇すること，最上部のクリッ ク率は順表示と逆表示で大きな差があることから，rとクリック率の相関関係が表示位置のみに よるものではなく,$r$ がユーザの興味関心度合いをある程度表していることが明らかとなった。

第 2 の実験として人手で選択したウェブページを 25 件のランダムな位置に挿入し, システム によって推薦されたウェブページとのクリック率の差分を調べた. ウェブページの選択に際し ては外部のメディア運営者に協力を依頼し, 運営するメディアの記事から日 1 件選択されたも のを利用した．選択されたウェブページは対象となったユーザのウェブページリストのランダ ムな位置に插入される。本実験は一定期間すべてのユーザを対象に行われた。

この実験の目的は $r$ の値にしたがってウェブページのリストを構築することがどれだけユー ザのクリック率に寄与しているのかを確認することである． $r$ の値に関係なく人手で選んだウェ ブページのクリック率が高くなるような表示位置があるのであれば，推薦システムのウェブペー ジの選び方に課題があると考えられる。図 3 に比較結果を示す.リストの上位の記事は人手で 挿入された記事と比較して高いクリック率を有しているが，リストの中位の記事は手動で挿入 された記事と比較し同程度のクリック率をもち, 下位では人手で插入した記事のほうが高いク リック率を持つようになっている。この結果は本システムが中位以降については $r$ に従って推薦することがユーザのクリック率を高めることに寄与しない可能性があることを示唆している.

図 3 人為的に選んだウェブページと推薦結果の比較

2 つの実験によって以下の事柄が明らかとなった.
- $r$ の大きさとウェブページのクリック率の相関は表示順位のみによるものではないため, $r$ の値はある程度ユーザの興味関心度合いを反映しているといえる.
- $r$ の大きさにしたがってリストを構築した場合，上位においては高いクリック率を得る ことができるが，中位以降では無作為に挿入した記事と同等のクリック率であり，下位 では無作為に挿入した記事のほうが高いクリック率をもつ.

つまり本システムは興味関心をある程度表現できてはいるものの, 推薦リストの構築として 考えた際に中位以降の表示に対して課題があることが明らかになった．本システムではユーザ の特徴量 $\vec{u}$ とウェブページの特徴量 $\vec{w}$ の類似度が高いものから順に並べてリストを構築してい る. ここでユーザの特徴量 $\vec{u}$ において $i$ 番目の次元の $u_{i}$ の値が他の次元の値と比べ非常に大き いとする $\left(u_{i} \gg u_{\backslash i}\right)$. その時 $i$ 次元が高い特徴量を持つウェブページの $r$ が高くなるため, 推薦 リスト内のウェブページがそのようなウェブページばかりになってしまう. 特徴量の各次元は ユーザの興味関心の方向を表しているため, 結果として推薦リスト内が同じようなウェブペー

記事と同じような内容になるため中位以降では飽きが生じてしまい，結果として人手で挿入し た記事のほうが新鮮さがあるためクリック率が同程度かそれ以上になるのではないかと考える。 このような結果から本システムに多様性を導入することにより, 中位以降のクリック率を改善 することができ，ユーザ満足度を向上させることに繋がるのではないかと考えた.

## 4 推薦システムへの多様性の導入

本章では既存の推薦システムに多様性を導入する方法について述べる。まず多様性の手法と してよく知られている Ziegler らの Topic Diversification Algorithm (TDA)を紹介する (Ziegler et al. 2005). そしてTDA をべースにグノシーの推薦システムに多様性を導入するためのユー ザ減衰モデルについて述べ，TDA との関連について議論する。そしてユーザ減衰モデルがどの ように多様性を向上させているのかを比較実験によって示す.

## 4.1 Topic Diversification Algorithm

本節では推薦リストの多様性に関する手法としてよく知られている Ziegler らの手法を紹介 する (Ziegler et al. 2005). Ziegler らは多様性を表す指標 Intra-List Similarity と, 関連度順に与 えられた推薦リストから多様性を持った推薦リストを生成する Topic Diversification Algorithm (TDA) を提案している.

TDA は既に関連度順に並んでいるアイテムリスト $L$ があるときに，そのリストを多様性を持 つように並び替えたリスト $L_{\text {diver }}$ を構築することを目的としている. ここで多様性リスト $L_{\text {diver }}$

はもともとのリスト $L$ と同じ長さかそれより短いものとする. ここでアイテムリスト $l$ とアイテ ム $p$ の類似度を表す関数を $c(l, p)$ と，アイテム $p$ のリスト $l$ 内での位置を表す関数を $\operatorname{rank}(p, l)$ とする。またリスト $L$ の $i$ 番目のアイテムを $L(i)$ とすることにする。つまり $\operatorname{rank}(L(i), L)=i$ と書ける。

TDA ではまず $L_{\text {diver }}(0)=L(0)$ として, その後 $L_{\text {diver }}$ に含まれない $L$ 内のアイテムリスト $L_{\backslash \text { diver }}$ から $L_{\text {diver }}$ にアイテムを 1 つずつ追加する。まず $L_{\backslash \text { diver }}$ 内のアイテム $p$ とリスト $L_{\text {diver }}$ との類似度 $c\left(L_{\text {diver }}, p\right)$ の昇順になるようにソートしたリスト $L_{\text {similar }}$ を構築し, 以下の条件を 満たす $p$ を $L_{\text {diver }}$ の末尾に加える.

$
\min _{p}\left.\{(1-\alpha) \times \operatorname{rank}(p, L)+\alpha \times \operatorname{rank}\left(p, L_{\text {similar }}\right)\right.\}
$

式 1 では既に作られているリストとの類似度の少なさの順位と, 推薦システムとしての関連度 の順位を平均した順位が最も高いアイテムを選ぶ。このようにして選ばれたアイテムをリスト に加えることを繰り返し, 多様性のあるリストを作る。この手法によって構築した推薦リスト は $\alpha$ を高めると Presicion や Recall は低下するが多様性は高まっていき，アンケートによる実験の結果ユーザは $\alpha$ が $0.3 \sim 0.4$ のリストを最も好むと報告された. 特に内容ベースフィルタリ ングを用いた推薦リストにおいて著しいユーザ満足度の向上が見られたことが示されている.

## 4.2 多様性の導入

本節では 3 章で述べた手法に多様性を導入する方法について述べる，前節で紹介した TDA は 既に推薦されたリスト内のアイテムと類似度が高いアイテムが推薦されにくくなることを目的 とした手法である。この考え方を元に既存システムに多様性を組み込むために，本研究では推薦されたアイテムの特徴量を，ユーザの特徵量から減衰することによって同様の多様性効果を 得ることを目指す。以降本手法をユーザ減衰モデルと呼ぶ. このユーザ減衰モデルは TDAの 考えをグノシーのシステムで実現するための手法であり，本論文の貢献としてユーザ減衰モデ ルの提案は含まない.

まず推薦リストをいくつかのブロックに分割する．K個のウェブページを推薦する場合それ を $N<K$ となる $N$ 個のリストに分割する. ここで $i$ 番目のリスト内のウェブページの個数を $k_{i}$ とすると $K=\sum_{i=0}^{N} k_{i}$ と書ける。また $i$ 番目のブロックまでに推薦されているウェブページ の数を $n_{i}$ とすると, $n_{0}=0, i$ が 1 以上のときは $n_{i}=\sum_{j=0}^{i} k_{j}$ と書ける.

このようにリストを $N$ 個に分割した上で, 各ブロックごとに推薦を行いながらユーザの特徴量を減衰させていく， $i$ 番目のリストを生成するためのユーザの特徵量を $\overrightarrow{u_{i}}$ とすると，以下の ように書ける。

$
\begin{gathered}
\overrightarrow{u_{0}}=\vec{u} \\
\overrightarrow{u_{i+1}}=\overrightarrow{u_{i}}-\alpha \sum_{j=n_{i}}^{n_{i+1}} \vec{w}_{j}(i \geq 0)
\end{gathered}
$

ここで $\alpha$ は定数である.

このユーザ減衰モデルが TDA と同じような性質を持つことを示す. ユーザ減衰モデルにお いて $k_{0}=3$ であり, $\overrightarrow{u_{0}}$ を用いて $w_{0}, w_{1}, w_{2}$ を推薦したとする. ここで次の推薦のための減衰さ れたユーザの特徵量 $\overrightarrow{u_{1}}$ は式 2 から以下のように求められる。

$
\overrightarrow{u_{1}}=\overrightarrow{u_{0}}-\alpha *\left(\overrightarrow{w_{0}}+\overrightarrow{w_{1}}+\overrightarrow{w_{2}}\right)
$

ここで次に推薦されるアイテム $w_{4}$ は以下のように書ける.

$
w_{4}=\max _{w \in W_{\backslash w_{0}, w_{1}, w_{2}}} f\left(\overrightarrow{u_{1}}, \vec{w}\right)
$

ここで $f(\vec{u}, \vec{w})$ は同じベクトル空間上のユーザ特徴量とウェブページ特徴量の類似度をべース に表現されることから $f$ では以下が成立すると仮定する.

$
\begin{gathered}
f\left(\overrightarrow{u_{1}}+\overrightarrow{u_{2}}, w\right) \propto f\left(\overrightarrow{u_{1}}, \vec{w}\right)+f\left(\overrightarrow{u_{2}}, \vec{w}\right) \\
f(\alpha \vec{u}, \vec{w}) \propto \alpha f(\vec{u}, \vec{w})
\end{gathered}
$

これを利用すると $f\left(u_{1}, w\right)$ は以下のように展開できる.

$
f\left(u_{1}, w\right) \propto f\left(u_{0}, w\right)+f\left(-\alpha\left(w_{1}+w_{2}+w_{3}\right), w\right) \propto f\left(u_{0}, w\right)-\alpha f\left(w_{1}+w_{2}+w_{3}, w\right)
$

ここで第一項の $f\left(\overrightarrow{u_{0}}, w\right)$ は減衰前のユーザ特徴量と $w$ の類似度を返すものであり, 第二項目は 既に構築された推薦リストと $w$ の類似度を返すものである。つまりユーザ減衰モデルでは元々 のユーザ特徴量の評価値から, 既に構築された記事リストとの評価値に一定の値を乗じた値を 引いた値が最大になるウェブページを推薦しているといえる。ここで式 1 と式 3 を比較すると， TDA における順位を返す関数を評価値を返す関数と考えれば，ユーザ減衰モデルと TDA は一致するといえる。

ユーザ減衰モデルと TDA の違いを以下にまとめる.
- TDA ではリストとの類似度を順位として重み付け平均で計算しているが, 本研究では評価値の重み付け平均とすることでユーザ特徴量の減衰によって実現している.

・ TDA では構築したリストにアイテムを 1 つずつ追加しているが, ユーザ減衰モデルでは ブロックにわけて複数個ずつ追加している。

このように細部の違いはあるもののユーザ減衰モデルの基本的な考え方は TDA と一致して いる.
表 1 多様性指標の比較

## 4.3 既存システムとの比較実験

本節ではユーザ減衰モデルがどれだけ多様性を向上させているのかを既存システムと比較す ることによって示す. 2012 年 11 月の 1 週間の記事データを用いて 1 日ずつ当該期間にアクティ ブであったユーザから無作為に抽出した 1,000 人のユーザに対して, 既存システムとユーザ減衰モデルを用いてそれぞれ 25 件の記事リスト生成し比較を行う。このとき推薦リストの分割数 $N=5$ とし，各ブロックの大きさは $k_{1}=3, k_{2}=4, k_{3}=5, k_{4}=6, k_{5}=7$ とした．比較のため に Zieger らの研究でも用いられていた Intra-List-Similarity (ILS) と overlap の 2 つの指標を用 いる (Ziegler et al. 2005). ILS は Ziegler らが提案した多様性を評価するための指標であり，多様性を評価する上で代表的な手法である (Konstan and Riedl 2012). 定義を以下に示す.

$
I L S\left(P_{w_{i}}\right)=\frac{\sum_{b_{k} \in P_{w_{i}}} \sum_{b_{e} \in P_{w_{i}}, b_{k} \neq b_{e}} c_{o}\left(b_{k}, b_{e}\right)}{2}
$

このように ILS はリスト内のすべてのアイテムの組み合わせの類似度の総和である。本節では 各記事の特徵量のコサイン類似度によって ILSを求めることとする。overlap は元の推薦リスト と多様性のある記事リストが何件一致しているかによって求められる。これによって多様性に よってどれだけ推薦結果が変化するのかを知ることができる.

まず 7 日間全体での各指標の平均値を表 1 に示す.

ユーザ減衰モデルでは既存システムに比べて ILSが下がっていることが分かる。これはユーザ 特徴量を減衰しながら推薦することで, 既存システムでは推薦されていたリスト上位で既に推薦 された記事と類似している $r$ が高い值をもつ記事が推薦されにくくなったためである. overlap は 8.06 であり既存システムと提案手法では約 8 件と約 $2 / 3$ の記事が変化していることが分かる.最上位ブロックは両方の手法で変化しない. $k_{1}=3$ であるため今回の実験では 3 件の記事は必 ず一致する。そのため残りの 22 件のうち 17 件が多様性によって変化したと言える。このよう にユーザ減衰モデルがリスト内の類似度を低下させ，記事リストを変化させていることが明ら かになった。

## 5 多様性の導入によるユーザ行動の変化

本章ではユーザ減衰モデルを実際にサービスに適用することでユーザ行動におこった変化に ついて述べ，推薦システムの多様性がユーザ体験に与える影響について考察する。

## 5.1 実験方法

本節では実験方法について述べる。本研究ではグノシーのサービス上で 3 章で述べた既存シ ステムと 4 章で述べたユーザ減衰モデルの比較を行った。実験は 2012 年の 8 月から 12 月にお いて行われた，既存システムによってサービスを提供する期間と，ユーザ減衰モデルによって サービスを提供する期間に分け，それぞれの期間における新規登録ユーザのサービス内でのユー ザ行動を比較した。また本サービスでは各種ウェブサービスとの連携によって初期のユーザ特徵量を構築しているが，連携したウェブサービス上での行動が少ない場合は初期のユーザの特徵量を構築することができない。本サービスではそのようなユーザに対してランダムな記事リ ストの生成を初期段階で行い，クリックしたウェブページのみによってユーザ特徴量を生成し ている。このようなユーザは継続率やウェブページのクリック率がそうでないユーザに比べて 低いことが経験的に知られており，期間中のそのようなユーザの登録人数の比率が実験結果に 影響を及ぼすと予想されることから，今回登録時にユーザ特徵量が生成できなかったユーザは 比較実験の対象外とした。

このようにして実験対象となるユーザ群を定義した. 既存システムによるサービスを受けた ユーザは 3,465 人，ユーザ減衰モデルによるサービスを受けたユーザは 3,482 人であり比較実験 として同程度のユーザ数となった，各手法でユーザの登録期間は異なるが，実験期間において 手法の変更以外のサービスのアップデートはデザインなども含めて行われてはいないため，実験として期間の違いは問題にならないと考えている.

## 5.2 評価方法

本節では行った実験の評価方法について述べる。 ユーザ減衰モデルでは多様性の導入により， サービスを利用しているユーザの満足度が向上することが期待されている。それを測るために，週次でのユーザの継続率を比較する．登録してから 7 日目以内にウェブページを 1 つでもクリッ クした場合はそのユーザは 1 週目継続したとする。そして 8 日目以降 14 日目以内にウェブペー ジを 1 つでもクリックした場合はそのユーザは 2 週目に継続したとする。このようにユーザが 登録日から 7 日毎に推薦されたウェブページをクリックしたかを対象期間の登録ユーザ数を母数とした週次の継続率として評価に用いる。継続率はウェブサービスの改善の指標としてよく 用いられる指標であり，これが高いとユーザがサービスに満足していると評価することができ る.その上で各週に継続しているユーザがその週次内で何日間サービスを利用したかを比較す る. この数値が高いとサービスを利用している日数が多いといえるため, ユーザがよりサービ スに定着していると考えられる。そして順位ごとのクリック率を 3 章と同様に比較し，ユーザ が推薦リストをどのように利用しているか, それが利用日数が増えるごとにどのように変化し ていくかを評価する.

## 5.3 サービス利用の比較

本節では既存システムとユーザ減衰モデルの継続率の比較結果について述べる.

既存システムとユーザ减衰モデルのそれぞれの週次継続率を表 2 に示す. ユーザ减衰モデル のほうがすべての週次で良い継続率を記録していることがわかる。この継続率が同等であると いう仮説は 1 週目から 4 週目まですべてカイ二乗検定において有意水準 $1 \%$ で棄却することがで きるため, ユーザ減衰モデルがユーザの継続率を有意に改善しているといえる.

次に各週内でのサービスの利用日数を調べる。ユーザ減衰モデルがユーザの満足度を向上さ せているのであれば，利用日数も高くなっていることが期待される.

表 3 に既存システム，ユーザ減衰モデルそれぞれの週次での平均利用日数とその分散を示す. ユーザ減衰モデルのほうが平均利用日数が高いことがわかる． 2 つの手法の平均利用日数は差 がないという仮説は平均利用日数が正規分布に従うとすると $\mathrm{t}$ 検定によって有意水準 $1 \%$ で棄却 されるため, この平均利用日数の差は統計的に有意であるといえる.

このようにユーザ減衰モデルによって推薦リストに多様性を導入した結果，ユーザのサービ ス利用の満足度が向上したことが示唆された。

## 5.4 表示順位ごとのクリック率の変化

本節では多様性の導入がユーザのリスト内のクリック率に対してどのような変化を与えたの かを分析する。ユーザ減衰モデルでは上位で推薦したウェブページに関係するユーザの特徴量 が減衰され, 既存システムでは推薦されなかったウェブページが推薦されるようになっている。 その結果として順位ごとのクリック率がどのように変化しているのかを調べる。 ユーザ減衰モ デルによって新たに推薦されるようになったウェブページは, 既存システムでは $r$ が低いため により低い位置で推薦されるウェブページであるため，r とクリック率の相関関係のみを考え

表 2 週次継続率の比較

表 3 週次の利用日数の比較

ればクリック率が低下する恐れがある。ユーザ減衰モデルではリスト内の多様性が生まれるこ とによって既存システムと同等かそれ以上のクリック率が生まれることを期待している.

表 4 に週次のリスト内での平均クリック数と 10 段目までと 11 段目以降の平均クリック数を 示す。平均クリック数はユーザ減衰モデルが既存システムをすべての期間で上回っており，登録から日数が経つごとにその差は拡大していく．平均クリック数が正規分布に従うと仮定し $\mathrm{t}$検定を行った結果, 3 週目と 4 週目においてリスト全体の平均クリック数と 11 段目以降の平均 クリック数， 4 週目において 10 段目までの平均クリック数においてそれらが等しいという仮説 が有意水準 $1 \%$ で棄却された，以上のことからユーザ減衰モデルによって平均クリック数, 特 にリスト下部での平均クリック数が 3 週目以降で改善していることが示される. 特に 11 段目以降のクリック数は既存システムは低下していくのに対してユーザ減衰モデルでは中位以降のク リック数が上昇していっており, 既存システムの課題が改善していることが分かる.

図 4 に登録 1 週目の表示位置によるクリック率の既存システムとユーザ減衰モデルの比較を

表 4 リスト内の一人あたりクリック数

図 $4 \quad 1$ 週目の表示位置ごとのクリック率

図 $\mathbf{5} 3$ 週目の表示位置ごとのクリック率

示す.ばらつきはあるものの各表示位置においてクリック率はほぼ同等の傾向を示しており，多様性を導入することによってクリック率に対して悪影響が出ていないことが確認された.

2 週目も 1 週目と同等に既存システムとユーザ減衰モデルには大きな差は見られなかった. し かし図 5 に示す 3 週目には，中位以降でユーザ減衰モデルのほうがわずかではあるがクリック 率が高い傾向になる。そして図 6 に示す 4 週目にはリスト全体でユーザ減衰モデルのほうがク リック率が上回る傾向にある。このように登録してから日が浅い段階ではユーザ減衰モデルと 既存システムは同等であったが，利用日数が伸びるにしたがってユーザ減衰モデルの方がより クリック数が多くなることが明らかになった.

## 5.5 考察

本章では多様性を持たない既存システムと多様性を導入したユーザ減衰モデルを実際のサー ビス上で提供し，ユーザに与える影響を比較した。その結果多様性によってユーザのサービス利用の継続率と利用日数が有意に向上することが示された。また利用開始から日が浅い段階では 記事リストのクリック率に変化はないが，利用日数が増えるにつれて記事リスト全体でクリッ ク率が高くなる。特にリスト下部のクリック率が既存システムでは低下していくが，ユーザ減衰モデルでは上昇していくことが示された.

既存システムでリスト下部のクリック率が利用日数が増えていく中で低下していく理由を考察する。本システムでは初期段階ではユーザが連携しているウェブサービスから得られるデー

図 64 週目の表示位置ごとのクリック率

夕を用いてユーザの特徴量を構築し, その後システム内でクリックしたウェブページの特徴量を 元にユーザ特徴量を更新していく.リストに多様性がある場合には個々のユーザがクリックし たウェブページ集合にも多様性が生まれると考えられることから，ユーザ減衰モデルにおける ユーザの特徴量 $\vec{u}$ は既存システムでは得られなかった多種多様な興味関心を内包したものとな り，ユーザ特徴量減衰後のウェブページがより興味に即したものになっていく．既存システム ではリストに多様性がないためユーザのクリックするウェブページが同じような特徴量をもっ たウェブページに集中するため, ユーザ特徴量がそのようなウェブページにより更新されるこ とから，利用日数が増えるほどに一層推薦されるウェブページリストに偏りが生まれる。その 結果リスト下部のクリック数が既存システムではサービスへの飽きから徐々に下がっていくの に対し，ユーザ減衰モデルではリスト下部のコンテンツのユーザとのマッチング精度が向上し ていくことにより, リスト全体のクリック率がユーザ減衰モデルにおいて長期で高い値になっ ていることが考えられる.

推薦リストの多様性については，評価者にリストを見せてどちらかを選げせるような実験の 結果をもって有効であるとされていたが，本研究ではその結果が実際にサービスの利用頻度と いう点で現れることを示した。その上でリスト全体のクリック率は初期段階では差がないが,利用日数が増えるにしたがって向上していくことが示され，特にリスト下部でのクリック率が 多様性がある場合とない場合で大きな差になっていくことが明らかとなった.

サービスにおけるユーザの継続率はユーザの満足度を表す重要な指標であると言われている

(Rust and Zahorik 1993). 週次の継続率と利用日数が向上したことにより推薦システムの多様性がサービスのユーザ満足度の向上をもたらすことを示したと我々は考えている。そして利用日数が増えるに従ってクリック率の差が大きくなっていく点については, 推薦システムのオン ラインでの評価を行う上で短期的な評価だけでなく中長期的な評価も行う必要性があることを 示した。

以上のように本実験では推薦システムの多様性によって利用ユーザのクリック率，週次継続率, 週次利用日数の向上が確認でき，多様性が推薦システムのユーザ満足度を改善することを 示した。そしてその影響が継続的な利用によって観測されることを明らかにし，オンライン評価における中長期的な評価の必要性を示した.

## 6 まとめ

本研究では推薦システムに多様性を導入することによるサービス上のユーザ行動の変化につ いて比較実験を行い，多様性がユーザ体験を改善したことを示した。まずサービスのユーザ体験を改善することを目的に推薦システムの分析を行い，多様性がユーザの満足度を高める可能性があることを示した。 その上でユーザ特徴量を減衰していく形で推薦システムに多様性もた らす手法との比較実験によってユーザ行動の変化を分析した. 結果として継続率やサービス利用日数が有意に改善していることを示し，従来研究で言われていた多様性を含む推薦リストの ほうがユーザに好まれるということを実サービス上で示した。そして利用日数が増えるにした がってリスト全体のクリック率が改善していくこと, 特にリスト下部のクリック率が多様性の ない手法では下がっていくのに対して, 多様性のある手法では向上していくことを示した. こ れは従来研究で示されていなかった多様性の中長期における影響を示したものである.

推薦システムを実サービスに適用した際の効果については不明な点が多い. 本研究ではリス トの多様性が中長期的な視点でみたときにユーザ体験の改善に貢献することを示唆しており，今後推薦システムにおいて多様性を考慮する上で重要な知見を示すことができたと考えている. また中長期でよりよい影響が生まれていることから推薦システムを評価する上で実サービス上 で，なおかつある程度期間を設けて実験を行う重要性を示したものであると言える。

推薦システムのユーザ体験を考慮する上で多様性と並んで説明性や透明性が重要であると言 われている (Konstan and Riedl 2012). 今後はこれらの指標の有効性についても実サービス上 で考察をしていきたい。また推薦システムにかぎらず本稿のように言語処理技術を実サービス に適用する上での課題や改善の手法について, サービス運営者としての視点から知見の共有や 検証を行っていきたい.

## 参考文献

Belluf, T., Xavier, L., and Giglio, R. (2012). "Case Study on the Business Value Impact of Personalized Recommendations on a Large Online Retailer." In Proceedings of the 6th ACM Conference on Recommender Systems, pp. 277-280. ACM.

Cosley, D., Lam, S. K., Albert, I., Konstan, J. A., and Riedl, J. (2003). "Is Seeing Believing?: How Recommender System Interfaces Affect Users' Opinions." In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp. 585-592. ACM.

Davidson, J., Liebald, B., Liu, J., Nandy, P., Van Vleet, T., Gargi, U., Gupta, S., He, Y., Lambert, M., Livingston, B., and Sampath, D. (2010). "The YouTube Video Recommendation System." In Proceedings of the 4th ACM Conference on Recommender Systems, pp. 293-296. ACM.

Fleder, D. M. and Hosanagar, K. (2007). "Recommender Systems and Their Impact on Sales Diversity." In Proceedings of the 8th ACM Conference on Electronic Commerce, pp. 192-199. ACM.

Herlocker, J. L., Konstan, J. A., Terveen, L. G., and Riedl, J. T. (2004). "Evaluating Collaborative Filtering Recommender Systems." ACM Transactions on Information Systems (TOIS), 22 (1), pp. 5-53.

Jannach, D., Zanker, M., Felfernig, A., and Friedrich, G. (2010). Recommender Systems: An Introduction (1st edition). Cambridge University Press, New York, NY, USA.

Konstan, J. A. and Riedl, J. (2012). "Recommender Systems: from Algorithms to User Experience." User Modeling and User-Adapted Interaction, 22 (1), pp. 101-123.

Lathia, N., Hailes, S., Capra, L., and Amatriain, X. (2010). "Temporal Diversity in Recommender Systems." In Proceedings of the 33rd International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 210-217. ACM.

Manning, C. D., Raghavan, P., and Schütze, H. (2008). Introduction to Information Retrieval, Vol. 1. Cambridge University Press, Cambridge.

村上知子, 森紘一郎, 折原良平 (2009). 推薦の意外性向上のための手法とその評価. 人工知能学会論文誌, $24(5)$, pp. 428-436.

Pariser, E. (2011). The Filter Bubble: What the Internet is Hiding from You. The Penguin Group.

Resnick, P., Konstan, J., and Jameson, A. (2011). "Panel on The Filter Bubble." In Proceedings of the 5th ACM Conference on Recommender Systems. https://acmrecsys.wordpress. com/2011/10/25/panel-on-the-filter-bubble/ 2016 年 5 月 3 日閲覧.

Rust, R. T. and Zahorik, A. J. (1993). "Customer Satisfaction, Customer Retention, and Market Share." Journal of Retailing, 69 (2), pp. 193-215.

総務省 (2014). 平成 26 年度版情報通信白書.

矢野経済研究所 (2014). キュレーションサービス市場に関する調査結果.

Zhang, M. and Hurley, N. (2008). "Avoiding Monotony: Improving the Diversity of Recommendation Lists." In Proceedings of the 2008 ACM Conference on Recommender Systems, pp. 123-130. ACM.

Ziegler, C.-N., McNee, S. M., Konstan, J. A., and Lausen, G. (2005). "Improving Recommendation Lists through Topic Diversification." In Proceedings of the 14th International Conference on World Wide Web, pp. 22-32. ACM.

## 略歴

関喜史：2008 年富山商船高等専門学校情報工学科卒業． 2011 年東京大学工学部システム創成学科卒業. 2013 年東京大学大学院工学系研究科技術経営戦略学専攻修士課程修了. 同大学院博士課程後期課程在学中. 2012 年に株式会社 Gunosy を創業し, 研究開発業務に従事.

福島 良典：2011 年東京大学工学部卒業. 2013 年同大学院工学系研究科修了.大学院在籍中に Gunosy を共同開発し，2012 年株式会社 Gunosyを創業し代表取締役社長に就任. 2012 年度未踏スーパークリエイター.

吉田 宏司：2011 年東京大学工学部卒業. 2013 年同大学院工学系研究科修了.大学院在籍中に Gunosyを共同開発し, 2012 年株式会社 Gunosy を創業し現在データ分析部の部長を勤め, データ分析, アルゴリズム構築. Webの開発等を担当. 2012 年度未踏スーパークリエイター.

松尾豊：1997 年東京大学工学部卒業. 2002 年同大学院博士課程修了. 博士 (工学)，産業技術総合研究所，スタンフォード大学を経て, 2007 年より, 東京大学大学院工学系研究科技術経営戦略学専攻准教授. 2012 年より人工知能学会理事・編集委員長, 2014 年より倫理委員長. 人工知能学会論文賞, 情報処理学会長尾真記念特別賞, ドコモモバイルサイエンス賞など受賞. 専門は, Web 工学, Deep Learning, 人工知能.

$(2016$ 年 5 月 20 日 受付 $)$
$(2016$ 年 8 月 5 日 再受付)
$(2016$ 年 9 月 15 日 採録)

(C) The Association for Natural Language Processing, (Licensed under CC BY 4.0）https://creativecommons.org/licenses/by/4.0/


# 技術資料
## 病名アノテーションが付与された医療テキスト・コーパスの構築

岡久 太郎 ${ }^{\dagger+\dagger} \cdot$ 伊藤 薫 $\dagger$

高度な人工知能研究のためには, その材料となるデータが必須となる. 医療, 特に 臨床に関わる分野において, 人工知能研究の材料となるデータは主に自然言語文を 含む電子カルテである。このようなデータを最大限に利用するには，自然言語処理 による情報抽出が必須であり，同時に，情報抽出技術を開発するためのコーパスが 必要となる。本コーパスの特徴は，45,000テキストという我々の知る限りもっとも 大規模なデータを構築した点と, 単に用語のアノテーションや用語の標準化を行っ ただけでなく, 当該の疾患が実際に患者に生じたかどうかという事実性をアノテー ションした点の 2 点である。本稿では病名や症状のアノテーションを対象に, この 医療コーパス開発についてその詳細を述べる。人工知能研究のための医療コーパス 開発について病名や症状のアノテーションを中心にその詳細を述べる。本稿の構成 は以下の通りである。まず，アノテーションの基準について，例を交えながら，概念の定義について述べる。次に，実際にアノテーターが作業した際の一致率などの 指標を算出し, アノテーションのフィージビリティについて述べる。最後に, 構築 したコーパスを用いた病名抽出システムについて報告する。本稿のアノテーション 仕様は，様々な医療テキストや医療表現をアノテーションする際の参考となるであ ろう.

キーワード：電子カルテ, 医療テキスト, 症例報告, 病名, ICD-10, 医療情報

## Development of the Clinical Corpus with Disease Name Annotation

Eiji Aramaki ${ }^{\dagger}$, Shoko Wakamiya ${ }^{\dagger}$, Ken Yano $^{\dagger}$, Hiroyuki Nagai ${ }^{\dagger, \dagger \dagger}$, TARo OKahISA ${ }^{\dagger, \dagger \dagger}$ and Kaoru Ito ${ }^{\dagger}$

Sufficient data is required for research on advanced AI. In the field of medicine, especially clinical medicine, information retrieval is necessary to utilize the data fully since the data-mainly clinical records - uses natural language. The corpus we developed in this study has the following strong points: (i) The corpus consists of 45,000 case reports, which is the largest to our knowledge, and (ii) not only did we standardized the terminology and the method for annotation, we also annotated "factness," which notes whether or not a disease name is actually the state of the patient in a case

report. This paper describes the methods to develop the medical corpus for AI research, focusing on the annotation of the disease or symptom name. First, we define the concepts contained in the annotation criteria using examples. Next, we discuss the feasibility of the annotation through giving some indexes such as agreement rate. Finally, we report the development of the disease-name extraction system based on the corpus. We believe this corpus is a good reference for future clinical annotation.

Key Words: Electronic Health Record (EHR), Clinical Text, Case Reports, Disease Name, ICD-10, Medical Infomatics

## 1 はじめに

医療現場で生成される多様なデー夕（以下，医療データと呼ぶ）の大部分は自然言語文であり，今後もその状況はただちに変わりそうにない. 医療デー夕の利活用としては, 診療への応用, も しくは学術研究や政策への応用が挙げられるが, 現在, 盛んに医療デー夕の利活用の重要性が叫 ばれているのは, 後者の二次利用である (科学技術振興機構研究開発戦略センター 2017). 二次利用されることが期待される医療データとしては, 健診データや診療報酬データがある。健診 データは健康診断の際に作成されるデータであり, 検査名と検査値から構成される。健診デー 夕は受診者が多く，組織で一括して収集されるため，大規模な医療データとしてよく用いられ る。一方，診療報酬データは医療費の算定のために用いられるデータであり，医療行為がコー ド化されたものである.このデータは厚生労働省が収集し管理するため, 同じく大規模な医療 データとしてよく用いられる。両データは，数値やコードから構成される構造化されたデータ のためコンピュータでの扱いは容易であるが，詳細な情報が含まれていないことが解析の限界 となっていた。

そこで，より詳細な情報が含まれる診療録，退院サマリ，症例報告といったテキスト化され た医療データの活用に注目が集まっている。診療録とは，病院において患者が受診した際や入院時の回診の際に記述されるテキストであり, 詳細な患者情報が記述される。また，退院サマ リとは, 退院時に記述される情報であり, 入院中の診療録の要約である. 症例報告も退院サマ リと同じく入院時の要約であるが，学会に報告されるものである。他にも, 病院内にはテキス 卜化された医療データが存在しており，本稿ではこれらのテキスト化された医療デー夕全般を 指し, 電子カルテと呼ぶ.

電子カルテは, 自然言語文が中心となる非構造データであるため, 扱いは困難であるが, 詳細 な情報が記述されており, その量は年々増加しつつある。この動きは, 1999 年に医療データで あっても，一定の基準を満たした電子媒体への保存であれば，記録として認められる，という 法改正が行われて以降, 特に急速に進展した. 2008 年には, 400 床以上の大規模病院で $14.2 \%$,一般診療所で $14.7 \%$ であった電子化率は, 2014 年には, 400 床以上の大規模病院で $34.2 \%$, 一
般診療所で $35.0 \%$ と倍以上に増加している 1 .このまま増加すれば，ほとんどの病院で電子カル テが用いられるであろう.

電子化の第一の目的は, 病院の運営の効率化によるコスト削減であるが, 副次的な利用法と して，これまで膨大な労力をかけて行われてきた調査への応用が期待されている．例えば，医薬品の安全に関わる情報や疫学的情報の収集をより大規模かつ容易に実行可能にしたり，これ まで不可能であった医療情報サービスも構築可能にすると期待されている。しかし，このよう な期待は高まるものの，具体的な成功事例は乏しい。これは，電子カルテに多く含まれる自然言語文の扱いが困難であることが原因で，電子カルテの情報を最大限に活用するには自然言語処理が必須となる.

本研究では病名のアノテーション基準を提案し， 45,000 例もの症例報告を材料としてアノテー ションを行う．このアノテーションでは，症例報告の対象患者の疾患や症状についての情報を 整理することを目指し，単に病名のみをマークするだけでなく，症状が患者に発生しているか どうかの区別まで行う. 海外では, 医療分野における同様のコーパスは政府の協力のもと開発,公開がされているが，日本では公開された大規模コーパスは存在せず，コーパスの仕様につい ても十分な資料がなかった。本稿では，日本で初となる大規模な医療分野のコーパス開発の詳細について述べる。

本研究が提案するアノテーションは, 症例報告のみならず, さまざまな医療テキストへ利用可能である汎用的なものである。 また，これが実行可能なアノテーションであることを示すた めに, 複数のアノテーター間における一致率やその問題点などの指標を示し, フィージビリティ の検討を行った。最後に, 病名アノテーションを利用して構築した病名抽出器についても紹介 する.

本コーパスの特徴は, 以下の 2 点である.

(1) 従来, 小規模な模擬データが配布されるにとどまっていた利用可能な医療分野のコーパ ス (Morita, Kano, Ohkuma, Miyabe, and Aramaki 2013; Aramaki, Morita, Kano, and Ohkuma 2014, 2016) と比較し, 約 45,000テキストという大規模なデータを構築した点.

（2）単に用語の範囲をアノテーションしただけでなく，用語で示された症状が実際に患者に 生じたかどうかという事実性をアノテーションした点.

特に，症状の事実性を記述することは応用を考えると重要である。例えば，以下のような 2 つの応用システムを用いたシナリオを想定できる。

【医薬品副作用調査シナリオ】ある医薬品 $\mathrm{A}$ と医薬品 B がどれくらい副作用を起こすかを比較したいとする。この場合, 医薬品 $\mathrm{A}$ と医薬品 B で検索して得られたテキストセット $\mathrm{A}$ とテキストセット $\mathrm{B}$ をつり，それぞれに出現する副作用と関連した病名の頻度を比較

すればよい．だが，これを実際に行うと，「副作用による軽度の $<\mathrm{P}>$ 咳嗽 $</ \mathrm{P}>$ は認めた が、<N>間質性肺炎 $</ N>$ は認めなかった。」2といったように，想定はされるが実際には 起こっていない副作用も記述される。よって，事実性を判定する必要が生じる.

【診断支援シナリオ】診断を行う際には，ガイドラインに沿って症状の有無を調べ，合致する 診断を下す。これはフローチャートになっており，例えば，意識消失，痙攣あり，嘔吐あ り，発熱ありの際に考えられる症状には心筋炎，脳梗塞，脳炎など曖昧性があるが，こ こで血液検査を行って炎症所見のない場合は心筋炎が除外される。このような場合，診断がガイドラインに沿っていることを明確にするために，事実性のない症状についても 記述される（この例では「炎症所見なし」）。よって，診断支援のデータとして用いる場合には，事実性を判定する必要が生じる。

本研究の貢献は以下の通りである.

(1) 医療テキストへのアノテーションについての詳細な仕様を示した.

（2）実際にアノテーションした結果について，一致率や問題点などのフィージビリティを議論した。

(3) 本研究で構築したコーパスを用いて病名抽出器を構築し，アノテーションの妥当性を検証した。

## 2 関連研究

海外でも電子カルテに自由記載された自然言語文からどのように有益な情報を抽出するかに ついて関心が高まっていた。このため, 2006 年から NIH (National Institutes of Health)のサ ポートで開始された i2b2 NLP Challenge (Uzuner 2008) というワークショップにより，様々な コーパスのリリースが行われている。 i2b2 NLP では，退院サマリを利用してコーパスが構築 されており，これは，筆者らの知る限り，医療分野のコーパスを最初に公開したワークショッ プである。その後, 日本語ワークショップの MedNLP(Morita et al. 2013; Aramaki et al. 2014, 2016) やヨーロッパでの CLEF e-Health (Kelly, Goeuriot, Suominen, Schreck, Leroy, Mowery, Velupillai, Chapman, Martinez, Zuccon, and Palotti 2014)など, i2b2 NLP の仕様を参考にした コーパス開発が行われているが，いずれも小規模なものに留まっている。例えば，MedNLP で 扱われたコーパスの一部は，言語資源協会 (GSK) により「GSK2012-D 模擬診療録テキスト・ データ」として公開されている 3 が, わずか 20 件にすぎない.
^{2}<\mathrm{P}>$ で示した病名は事実性のあるもの，<N>で示した病名は事実性のないものを表す. 詳しくは 4.2 節.

 }^{3}$ http://www.gsk.or.jp/catalog/gsk2012-d/

また, 本研究でも利用する医学オントロジーである ICD-104 と, 自然言語文に含まれる疾患名 や症状名を対応させるための辞書は，これまでにも何度か作成が試みられている (Fabry, Baud, Ruch, Le Beux, and Lovis 2003; Yamada, Aramaki, Imai, and Ohe 2010; Bouchet, Bodenreider, and Kohler 1998). しかし, これらの研究は病名辞書を記述することに終始しており, 電子カル テ内の文脈がもつ情報が失われている。本研究では，コーパス中に出現する病名に対してアノ テーションすることで，文脈も含んだ形で利用可能なリソースの構築を目指す.

本研究は，大規模な日本語の医療コーパスを構築する初めての試みである。これまでにも医療コーパスを用いた研究はあったが，その仕様の詳細については明らかにされておらず，全体像がつかめないのが実情であった。本稿では，今後同様のアノテーションにおいて指針となる ように，アノテーションの仕様を実際にコーパスが構築可能な程度の粒度で紹介する。

## 3 コーパス構築の全体像

## 3.1 材料

本研究で扱う電子カルテは症例報告といわれるテキストである（表 1 ）。症例報告とは, 学会 に提出される患者情報の要約である。 症例報告には, 患者の診断名・転帰, 入院時の症状およ び所見，治療後の経過などが簡潔に記述され，医師の教育や，類似した症例の参考のために参照される.このため, 症例報告は患者に相対して記述する診療録よりも高い可読性で記述され る傾向にある，症例報告は学会への報告であるため, 記録先は異なるが, 入院時の患者の要約 であるという点で退院サマリ（図1）と類似しており, 症例報告のアノテーションの枠組みを退院サマリに転移することが可能である.

本コーパスの材料となったテキストは日本内科学会に報告された 44,761 の症例報告5である. これは, 2004 年以降に報告された全症例であり，11,866 施設，26,235人の医師からなる。また, これらがカバーする診療科は内科全領域である。症例報告が対象としている分野と, 各分野に おける報告数を表 2 に示す。なお, 日本内科学会の会員は学会ホームページ6を通じて本コーパ スのデータを検索，閲覧可能である。また，本コーパスの研究利用についてはウェブサイト7に て，利用に関しての最新情報を参照可能なようにしている.
^{4}$ ICD とは, 世界保健機関 (WHO) による, 疾病及び関連保健問題の国際統計分類 (International Statistical Classification of Diseases and Related Health Problems) の略称であり，世界中で集計された死亡や疾病のデータに 基づく分類体系である。ICD にはいくつかのバリエーションがあり，日本ではICD-10 が用いられている．詳しく は 3.4 節を参照.

5 この段階ではコーパスから除外する複数症例についての報告（3.2 節参照）も含まれているため, 完成後のコーパ スの症例報告件数とは一致しないことに注意.

6 http://www.naika.or.jp/

7 http://mednlp.jp/
}
表 1 症例報告「澒部硬膜外血腫を合併した特発性血小板減少性紫斑病」の例

## 3.2 除外データ：複数症例を扱った記録

症例報告の中には，ある症状について，1つの病院で観察された複数の患者のことをまとめ て報告したものや特定の病気に対し特定の治療法が有効であるかどうかを複数の事例から考察 したものが含まれている。このような報告においては, 患者 1 人 1 人についての記述が少なく,記述されている情報がどの患者に当てはまるものであるかを判断することが難しい場合が多々 ある．そのため，特定の患者 1 名に関する報告のみをアノテーションの対象とすることとした.

## 3.3 アノテーションの流れ

電子カルテには専門用語が多く含まれており, 正確なデータ整理のためには医学知識が必須 となる。例えば，「DICあり」という表現に含まれる「DIC」が「播種性血管内凝固」という疾患を指すといった判断は，医師や看護師，医療事務員といった医療関係者（以降，医療従事者）以外の者（以降，非医療従事者）にとっては容易ではないため，本来はすべての作業を医療従事者によって行うのが理想的である。しかし，それはコスト的にも人材的にも非常に困難である.最も人数が多い医療従事者は看護師であるが，慢性的に人手不足であり，また，雇用単価も高 い（時給換算で 2,000 円 2,300 円），そもそも，看護師の本来の職務はアノテーションの作業 と大きく乘離しており，熱意を持ってアノテーションに従事可能な人材の確保は容易でない.

そこで, 本研究では, デー夕整理の作業に熟練し, かつ, 事務作業とも親和性の高い, 医療

図 1 退院サマリの例 (GSK2012-D 模擬診療録テキスト・データから抜粋)

表 2 症例報告の対象分野と各分野における報告数

事務員の経験者を中心に雇用し，コーパスの構築を行う．ただし，医療事務員は看護師や検査技師などの他の医療従事者と比較し，そもそも人数が多くない，そこで，アノテーションのプ ロセスを医療事務経験者でなくとも従事可能な部分と，医療事務経験者が必要な部分という以下の 2 つに分けた.

## (1) a. 病名タグ付け

医学知識を用いず，非医療従事者が病名だと判断したもの全てに夕グを付与する。

b. 病名コーディング

上記 (1a)のプロセスでタグ付けされた表現のうち, 頻度の高いものから順に医療従事者が医学知識を用いて，病名であるか否かを判断し，病名である場合は後述する ICD コードを付与する.

本稿では, 病名の範囲の同定 (1a)をタグ付け, 病名の分類 (1b)をコーディングと呼び，(1a) タグ付けと (1b) コーディングの両方を含む作業をアノテーションと呼ぶことにする.

な押, 作業の効率化を測るため, 予め非医療従事者によってタグ付けがなされた少数のデー 夕を教師データとして，機械学習によって自動で全てのデータにタグ付けしたデータ（以降，自動タグ付けデータ）を作成し，(1)の両プロセスにこのデータを利用している。具体的には， (1a)の作業は, 自動タグ付けデータをアノテーターが修正（タグの追加・削除）する形で行う. また，(1b)の作業においては，(1a)のプロセスが完了するよりも前に，自動夕グ付けデータに おける頻度に基づいてコーディングを行い，(1)の作業が完了次第，自動夕グ付けデータからは 収集することができなかった表現に対して，(1b)のコーデイング作業を行う.

## 3.4 ICD-10

ICD (WHO 1992) とは疾病及び関連保健問題の国際統計分類 (International Statistical Classification of Diseases and Related Health Problems) の略であり，世界中で集計された死亡や疾病 のデータの体系的な記録, 分析, 解釈打よび比較を行うため, 世界保健機関憲章に基づき, 世界保健機関 (WHO) が作成したオントロジー的な性質を持つ分類体系である. ICD には各国の事情 を反映したバリエーションがあり，例えば米国ではICD-9-CM，オーストラリアではICD-9-AM，日本では ICD-10が用いられている。

ICD-10 は，アルファベット 1 桁と数字 $2 \sim 4$ 桁の組み合わせによって表記され，この表記は コード（またはICDコード）と呼ばれる，それぞれのコードには，体系的に分類された疾病や 死因の概念が対応づけられている。また，実際の電子カルテ内に現れる疾病や病名などを表す 表現に対して，コードを割り当てる行為はコーディング（ICDコーディング）と呼ばれる。一般の計算機科学で用いられる，プログラムを構築する意味でのコーディングとは異なるので注意されたい.コードは表 3 のような階層構造を持つ、コードの最初のアルファベット（軸と呼 ばれることもある）は, 感染症や新生物（がん）などの全身症 (A-E), 循環器や消化器系疾患な
表 3 ICD-10 の概要

 & 分類見出し \\

ど $(\mathrm{F}-\mathrm{N})$, 奇形や新生児疾患 $(\mathrm{O}-\mathrm{Q})$, 症状や兆候 $(\mathrm{R})$, 障害 $(\mathrm{S}-\mathrm{T})$, 傷病 $(\mathrm{V}-\mathrm{Y})$ などの分類記号となっている。 さらに，次桁からの数字で詳細な部位などが示される。例えば，「右上肺葉が ん」は C341 に分類されるが，最初の 3 桁の C34 が「気管支および肺の悪性腫瘍」を示し, 最後の 1 が上肺を示している。ただし，コードに左右の区別はなく, 右肺に生じた疾患であると いうことは C341 というコードから判別することはできない.

なお, 本コーパスの規模としては, 56 万の病名の出現 (TOKEN) を収載し, 異なり病名とし ては 19,000 種類の病名 (TYPE) をカバーしている。これを ICD-10コードの種類にまとめると 2,260コードとなる。なお, ICD-10は全体として膨大な体系であり, 実際には頻出しない病名や 日本では存在しない病名も含めると, 数万規模の体系となっている. 実際に日本で一般的に用 いられている ICD-10 コードの数は約 4,900 であり ${ }^{8}$, 本コーパスはこのうち約半分 $(2,260$ コー ド）をカバーしていることになる.
^{8}$ https://www.medis.or.jp
}

## 4 病名タグ付け

## 4.1 病名タグ付けの指針

病名夕グ付けは, 症例報告に含まれる病名に夕グを付与する作業である。しかし, 3.3 節で述 べた通り医療従事者の確保は容易ではないことから, この作業は特に医療やその他の学術的知識を持たない作業者にも可能なように基準を設定した。また，実際に作業を行ったのは， 2017 年 7 月現在で医療従事者・非医療従事者を共に含む 10 名である。以下では，夕グ付けの指針や 基準の詳細，および作業結果の一致率について述べる.

病名タグ付けは, 以下の 3 つの指針に基づいて行った。

## （I）非医療従事者がタグ付け対象の言語的単位を判断しやすい基準を設ける

症例報告においては, 同一の症状・疾患の記述であっても, 医師によって様々な表現の仕方 が用いられる. 特に, 複数の形態素によって特定の症状・疾患を表している場合, 非医療従事者がタグ付けの範囲を決定することが困難である場合が多い。そこで，夕グ付けに際しては医療的知識を用いることなく, 言語的な情報から夕グ付けの有無や範囲の決定を行うことができ る基準を設ける。

## (II) 病名コードを付与できる可能性を持つ表現を最大限抽出するための基準を設ける

本コーパスは, ICDコードに基づいて, 複数の表現がなされている病名を標準化することを目指している。しかし，夕グ付けを行う非医療従事者は ICDコードに関する知識を有していない ため，データ中に見られる症状のどれが ICD コードを持っているのかを判断をすることが難し い. そこで, ICDコードが付与される可能性を持つ表現を最大限抽出するための基準を設ける.

## （III）症例報告の患者に関する情報（事実性）を整理する

1 節で述べた通り, 本研究は症例報告の対象患者の疾患や症状の情報について整理すること を目的としている。しかし, 実際の症例報告には, 患者による罹患が実際に確認された病名た けではなく, 存在が否定された病名や施設名等に含まれる病名, さらに特定の症例報告のレべ ルではなく一般論のレベルで登場する病名も多い，例えば，表 1 の症例報告では，実際の患者 に生じた症状ではなく, 医学的な知識として「ＩＴＰは時に重篤な深部出血をきたす」といっ た記述がなされている。そこで，病名アノテーションにおいては，患者に実際に確認された病名と，そうではない病名を区別し，それぞれに対応する夕グを設ける。

以下では，上記の指針に基づき行った実際の夕グ付け作業の詳細を述べる。

## 4.2 タグの種類

指針 (III) に則り，本コーパスで用いるタグは次の 3 種とする。

(2) a. 陽性タグ（Pタグ：
 ...
)

患者に関する症状，疾患名で実際に罹患が認められたもの，あるいは疑われたものに 対してP夕グを付与する。

b. 陰性タグ ( $\mathrm{N}$ タグ : $<\mathrm{N}>\ldots</ \mathrm{N}>)$

患者に関する症状, 疾患名で罹患が否定されたものに対して $\mathrm{N}$ タグを付与する.

c. スキップタグ（SKIP タグ：<SKIP/>...)

各データ末尾の一般論には P タグ，N タグを付さず，直前に SKIP タグを付すこと

で，以降のテキストは夕グ付け対象外とすることを明示する，P夕グ， N夕グと異な

り, 終了タグは付与しない. なお, 一般論であっても，データの末尾以外にある場合 には SKIP タグを付与せず，Nタグを付与する。

症例報告において, 一般論はテキスト末尾に考察として記述される場合が多く, 考察部分はそ れ以前の具体的な症例報告とは性質が異なる。そこで, テキスト末尾に登場する一般論は SKIP タグによって区別し，本コーパスからは除外する。なお，テキスト末尾以外に登場する一般論 に関しては，Nタグを付与することで患者が実際に罹患した病気と区別する。これらのタグの 種類の決定方法については，4.5節にて例とともに詳細を述べる.

先行研究においては， $\mathrm{N}$ タグの内容を区別するものも存在する。例えば， (Aramaki, Miura, Tonoike, Ohkuma, Mashuichi, and Ohe 2009) では,「疑い」,「必要」,「可能性」,「否定」,「延期」，「予定」，「希望」，「勧める」，「方針」といった細かい区別を用いていた。また，NTCIRの MedNLP2 タスクでは，「否定」，「疑い」、「家族歴」を区別していた。しかし，場合によっては この区別が困難な場合がある。 さらに，今回対象とするコーパスが大規模であることから，で きるだけタグの仕様を単純化するのが好ましい，想定される応用例においても， $\mathrm{N}$ タグを除外 して検索したい要求はあっても， $\mathrm{N}$ タグの内容を区別して扱うケースは多くないと考えている.以下に想定される応用例を列挙する.

・作用調査：Pタグのみを抽出

・ 副診断支援（類似した症状の患者を検索）：P夕グのみを抽出
- 診断支援（次に行うべき検査や見るべき所見を予測）：P夕グと $\mathrm{N}$ タグの両方を抽出
- 病名表現の統計調査：P夕グと $\mathrm{N}$ タグの両方を抽出

・ 入力支援 (サジェスト)：P夕グと $\mathrm{N}$ タグを区別せず抽出

## 4.3 病名タグ付けの原則

病名タグ付けは，4.1 節に挙げた指針を反映し，下記の原則に基づいて行った.

(3) a. 名詞で表現される病名に対してのみ夕グを付与する
b. P タグを付与するのは患者が罹患したと医師が判断した病名（陽性所見）とする 原則 (3a) は, 指針 (I, II) を反映している。症例報告において, 当該の報告を記述した医師に よって病名の表現の仕方や表記法が異なるため, そのような表記の摇れに対して, 非医療従事者であっても言語的な特徴から夕グ付け範囲の決定をすることができる基準を設ける必要があ る。そこで，夕グ付け対象を名詞（サ変動詞の語幹も名詞に含めることとする）に限定するこ とによって，統一的なタグ付けを目指した。

原則 (3b) は，指針 (III) を踏まえている，症例報告には，実際に患者が罹患していると医師が 判断していない病名が多く含まれている。この点を明示化するために，患者が罹患したと医師 が判断したと考えられる病名には $\mathrm{P}$ タグを付与することで, それ以外の病名と区別した.

次節では各原則が実際の夕グ付けにおいてどのように実現されるかを述べる.

## 4.4 タグ付けの単位

原則 (3a)に示したように本コーパスでは，夕グ付け対象を名詞に限定することで，非医療従事者による夕グ付け単位の判断の統一化を図っている。これは, 症例報告において以下のよう な表記の摇れが散見されるためである.

(4) a. 腎機能低下が見られた

b. 腎機能が低下していた

c. 腎機能が高度に障害されていた

「腎機能低下」は ICD コード (N289) を有する症状である。しかし, 症例報告には (4) に例示し たように，様々な表現の仕方で，同一の事象が記述されている。このような表記摇れを過不足 ない単位で医療知識の無いアノテーターが全て採取することは極めて困難である．また，仮に 全ての表記摇れを統一的な単位でタグ付けすることができたとしても，そのような表記摇れは 病名コーディングの段階で, 頻度の少なさからコーディング対象外となってしまうことが予想 される。

以降，4.4.1 節から 4.4.7 節では具体的にどのような表現をタグ付け単位として認定したかを 詳細に述べる。

## 4.4.1 複合名詞

複合名詞は，1つの名詞として扱い，まとめて夕グ付け対象とする.

## (5) 複合名詞の例
a. $<\mathrm{P}>$ 軽度網膜血管炎 $</ \mathrm{P}>$
b. $<\mathrm{P}>\mathrm{AFP}$ 高値 $</ \mathrm{P}>$
c. $<\mathrm{P}>$ 腎機能異常 $</ \mathrm{P}>$
d. $<\mathrm{P}>$ 全身倦总感著明 $</ \mathrm{P}>$
e. $<\mathrm{P}>$ 両側肺門リンパ節腫大 $</ \mathrm{P}>$
f. $<\mathrm{P}>\mathrm{Cl} \mathrm{l}$ a s s V腺癌 $</ \mathrm{P}>$

また，病名そのものではなくても，患者の症状を表す特定の語彙を含んたものについても夕 グ付け対象とする。

(6) 患者の症状を伴う特定の語彙を含む複合名詞の例
a. $<\mathrm{P}>$ 血痰程度 $</ \mathrm{P}>[\sim$ 程度 $]$
b. $<\mathrm{P}>$ 皮虐病変痂皮傾向 $</ \mathrm{P}>[\sim$ 傾向 $]$
c. $<\mathrm{P}>$ 壊疽部 $</ \mathrm{P}>[\sim$ 部 $]$
d. $<\mathrm{P}>$ 腫瘤辺縁 $</ \mathrm{P}>[\sim$ 辺縁 $]$
e. $<\mathrm{P}>$ 項部硬直陽性 $</ \mathrm{P}>[\sim$ 陽性（陰性）]

## 4.4.2 英語表記・略号

英語表記やアルファベットによる略記も名詞として扱い，夕グ付け対象とする。

(7) 英語表記・略号の例

a.
 c a r c ino i d t umor $</$ P $>$ [英語表記]
b. $<$ P $>$ A I P $</$ P $>$ [英語略記]

## 4.4.3修飾句

本コーパスでは，以下のような修飾句を形成する表現については夕グ付け対象外とする。

(8) タグ付け対象としない修飾句の例

a. 急性肝炎様に $<\mathrm{P}>\mathrm{A}$ I $\mathrm{H}</ \mathrm{P}>$ を発症した

b. ポリープ状の $<\mathrm{P}>$ 腫瘍 $</ \mathrm{P}>$ を認め

c. 肉芽腫性の $<\mathrm{P}>$ 炎症 $</ \mathrm{P}>$

ただし，以下のように，「に」や「の」等の助詞が介入せず，複合名詞となっている場合は,原則 4.4.1に示したように，合わせてタグを付与する。

(9) 助詞の介入しない修飾句を伴う複合名詞の例
a. $<\mathrm{P}>$ 急性肝炎様症状 $</ \mathrm{P}>$
b. $<\mathrm{P}>$ ポリープ状腫瘍 $</ \mathrm{P}>$
c. $<\mathrm{P}>$ 肉芽腫性炎症 $</ \mathrm{P}>$

## 4.4.4動詞

本コーパスでは，以下のような動詞が表す症状は夕グ付け対象外とする。

(10) タグ付け対象としない動詞の例

a. 両足が痛み, 右膝が腫れてきた
b. 皮膚はいずれも硬くなった

c. 夜はなかなか寝つけない, とのこと

ただし，サ変動詞の語幹については，それ単体で病名を表す名詞と認定できるものに限って タグを付与する。

(11)病名を表す名詞と認定できるサ変動詞の語幹の例
a. $<\mathrm{P}>$ 狭窄 $</ \mathrm{P}>$ していると考えられた
b. $<\mathrm{P}>$ 腎機能低下 $</ \mathrm{P}>$ する

## 4.4.5 セパレーション

中黒 (・), スラッシュ (/), ハイフン（-) や, 読点（，）をはさむ場合は，その前後が独立 した名詞の場合，それぞれを別の名詞として個別に夕グを付与する。一方，前部ないし後部が もう一方と連結して複合名詞を作る場合は，当該記号を挟んで 1 つのタグを付与する。

(12)分割された前後が独立した名詞として認定できる例

$<\mathrm{P}>$ 血痰 $</ \mathrm{P}>\cdot\langle\mathrm{P}>$ 下血 $</ \mathrm{P}>$ も出現した

(13) 前部または後部がもう一方と連結する例

a.
ウイルス性，細菌性肺炎 $</ \mathrm{P}>$ 疑いあり [ウイルス性肺炎 + 細菌性肺炎]
b. $<\mathrm{N}>$ 腸蠕動音低下, 方進 $</ \mathrm{N}>$ ともになし. [腸蠕動音低下 + 腸蠕動音立進]
c. $<\mathrm{P}>$ 下咽頭、気管、甲状腺浸潤 $</ \mathrm{P}>$ 、 $<\mathrm{P}>$ 頙部リンパ節転移 $</ \mathrm{P}>$ と診断され [下咽頭湿潤 + 気管湿潤 + 甲状腺湿潤]

「および」「ならびに」といった表現は中黒やスラッシュと同様に扱う.

## 「および」「ならびに」が使用されている例
a. $<\mathrm{P}>$ 体幹および四肢運動失調 $</ \mathrm{P}>$ などを認めた。 [体幹運動失調 + 四肢運動失調]

b.
結節性ならびに小浸潤性陰影く/P>を認めた。[結節性陰影＋小湿潤性陰影]

## 4.4.6 丸括弧

丸括弧で囲まれた言い換えの表現がある場合は，個別にタグを付与する。

(15) 丸括弧による言い換え表現の例

$<\mathrm{P}>$ 胃食道逆流症 $</ \mathrm{P}>(<\mathrm{P}>\mathrm{GER} \mathrm{D}</ \mathrm{P}>)$

## 4.4.7 特殊記号を含む名詞

症例報告においては, 患者の症状を表すために医師の間で慣習的に使用されている記号が現 れることがある。そのような記号は, 複合名詞を構成する一部として解釈し, まとめて夕グ付 けする。

a. $\quad<\mathrm{P}>$ I g A $2800 \uparrow</ \mathrm{P}>$

(IgA 高値は慢性肝疾患や感染症等を示す血液検査所見)
b. $\quad<\mathrm{P}>$ 皮膚ツルゴール $\downarrow</ \mathrm{P}>$

(皮膚ツルゴール低下は脱水症、特に低張性脱水症)

$
\text { 「陽性／陰性」という意味で「(+) / (-)」が使用されている例 }
$
a. $<\mathrm{P}>$ 項部硬直 $(+)</ \mathrm{P}>$

b. 検尿も $<\mathrm{N}>$ 蛋白 $(-)</ \mathrm{N}>$ 、 $<\mathrm{P}>$ 潜血 $(+)</ \mathrm{P}>$ であった

## 4.5 タグの種類決定

症例報告に登場する病名には，医師が実際に患者に認めたものだけでなく，検査の結果否定 された病名や一般論において登場する病名，患者の症状とは関係のない複合名詞の一部として 登場するものが多く存在する。本コーパスでは, そのような表現に対応するために, 4.2 節に挙 げた 3 種のタグ（P夕グ， N タグ，SKIP夕グ）をアノテーションに用いる。本節では，具体的 にどのような表現に各夕グを付与するかを述べる。

## 4.5.1 患者の症状以外の病名を含む複合名詞

患者の症状としてではなく, 施設名, 手術名, 検査名といった複合名詞の一部に含まれた病名にはタグを付与しない.

（18）患者の症状を表さない病名を含む複合名詞の例

a. かかりつけのロ口内科リウマチ科クリニックより当院紹介受診となった.

b. 左下肢静脈瘤手術を行った。

c. 細菌培養、膠原病検査を行い 1 週間経過観察

## 4.5.2 まだ発症していない病名

実際には，まだ発症していないが，今後患者に発症が予想されている病名には $\mathrm{N}$ タグを付与 する.

## 発症が予想されている病名の例
a. $<\mathrm{N}>$ 気道閉塞 $</ \mathrm{N}>$ の危険が高く
b. $<\mathrm{N}>$ 肺塞栓症 $</ \mathrm{N}>$ の発症が危惧された

## 4.5.3 家族歴

家族歴（患者の家族が罹患したことのある症状）は，患者が実際に罹患していない病名であ るため， $\mathrm{N}$ タグを付与する。

(20) 家族歴の例
a. 母が $<N>$ 高脂血症 $</ N>$

b. 長兄、祖母にも $<\mathrm{N}>$ 大動脈疾患 $</ \mathrm{N}>$ の既往歴があり

なお, 患者本人の既往歴（過去に患っていた症状）に関しては，患者の罹患した病名である ため，P タグを付与する.

(21) 患者の既往歴の例

$\mathrm{XX}$ 歳時に $<\mathrm{P}>$ 胃潰瘍 $</ \mathrm{P}>$ のため胃亜全摘術既往歴がある。

## 4.5.4 罹患が疑われている病名

罹患が疑われている病名に関しては, 同一文内で陰性であることが示されている場合に限り $\mathrm{N}$ タグを付与し，それ以外は $\mathrm{P}$ タグを付与する。

## 同一文内で罹患が否定されている例
a. $<\mathrm{N}>$ 脳血管障害 $</ \mathrm{N}>$ を疑い C T・MRIを施行したが異常所見を認めなかった。
b. $<\mathrm{N}>$ 抗酸菌感染症 $</ \mathrm{N}>$ を疑い喀痰抗酸菌検査を施行したが陰性で、外来での厳重な 経過観察とした。

同一文内で罹患が否定されていない例

a. 臨床経過より、アミオダロンによる $<\mathrm{P}>$ 薬剤性肺障害 $</ \mathrm{P}>$ を疑った。

b. 喘息既往や血液検査から $<\mathrm{P}>$ 好酸球性肉芽腫性多発血管炎 $</ \mathrm{P}>$ を疑った。

また，疑いを表す述部の例としては以下のものが挙げられる.

疑いを表す述部を伴う例

a. バルサルバ負荷による TMFの変化、肺静脈血流と流入血流左室内伝播速度を観察し たところ、いずれも $<\mathrm{P}>$ 左室拡張障害 $</ \mathrm{P}>$ を示唆する結果であった。

b. モニター心電図上、心拍数 200 回 $/ \mathrm{m} \mathrm{i} \mathrm{n}$ 程度の $<\mathrm{P}>\mathrm{w}$ i d e QRS t a c h y c a r d i a
を認めており、
心室頻拍
と考え、マグネゾール $1 \mathrm{~A} を$静注後に $<\mathrm{N}>$ 頻拍 $</ \mathrm{N}>$ は停止した。

で全身病態に関連少ないと判断し、 $<\mathrm{P}>\mathrm{GBS}</ \mathrm{P}>$ を想定し、免疫吸着を行った。
d. $<\mathrm{P}>$ 脳卒中 $</ \mathrm{P}>$ が疑われる $<\mathrm{P}>$ 神経症状 $</ \mathrm{P}>$ を認めたため脳 M R I を施行、右小脳・右脳幹に比較的最近に発症したと思われる $<\mathrm{P}>$ 脳梗塞所見 $</ \mathrm{P}>$ を認めた。
e. $<\mathrm{P}>$ ペ゚リン起因性血小板減少症 $</ \mathrm{P}>$ の可能性を考え抗へパリン-P F 4 複合体抗体を測定したところ陽性であった。
f. $<\mathrm{P}>$ 悪性腫瘍 $</ \mathrm{P}>$ も否定できないため、診断目的でエコー下肝生検を施行。

## 4.5.5 治癒表現

治癒を表す表現が伴っている病名については, 症状や疾患が完全に消失したことが明示され ている場合のみ $\mathrm{N}$ タグを付与する.

## 完全に消失したことが分かる治癒表現を伴う例
a. $<\mathrm{N}>$ リンパ腫所見 $</ \mathrm{N}>$ は消失しており
b. $<\mathrm{N}>$ 血尿 $</ \mathrm{N}>$ は陰性化し

なお, 症状・疾患が完全に消失したことが明示されていない場合は P 夕グを付与する.

(26) 症状・疾患が完全に消失したことが判断できない例
a. $<\mathrm{P}>$ 腫瘤 $</ \mathrm{P}>$ はほぼ消失していた
b. $<\mathrm{P}>$ 発疹 $</ \mathrm{P}>$ も消退傾向となり
c. $<\mathrm{P}>$ 心不全症状 $</ \mathrm{P}>$ の軽快を認めた

d. 腸管壁の $<\mathrm{P}>$ 肥厚 $</ \mathrm{P}>$ は改善した

「宽解」「完全宽解」「奏効」「完全奏効」という用語は, 癌の徴候が消失しただけであり, 完全な治癒を表すわけではないため, これらを伴う病名には $\mathrm{P}$ タグを付与する.

## 4.5.6 一般論に見られる病名

症例報告に見られる病名には，個別のケースについて言及しているのではなく，これまでに 得られている知見の一般的記述の中に登場するものが多く存在する。また, そのような一般論 は，本文末尾に記述されることが極めて多い，本研究における夕グ付け作業は， 3.3 節で述べた ように，自動夕グ付けデー夕を修正する形で実施したため, 本文末尾の一般論に含まれる病名 に予め付与されたタグを 1 つ 1 つ人手で削除する作業は非効率的である。そのため，夕グ付け 作業では SKIP タグを設け，本文末尾の一般論の直前にこれを付すことで，それ以降のテキス トに付されたタグを無視するようにした。

## 本文末尾に登場する一般論の例

a. ... その後徐々にA L Tは低下し、ウィルス量も低下したが、 $<\mathrm{P}>$ 肝不全 $</ \mathrm{P}>$ からの 回復には至っておらず、現在も治療中である。＜SKIP/>近年ではステロイドフリー の化学療法や、他の免疫抑制剤でも、免疫抑制の回復期におこる H B V の再活性化 が数多く報告されている。また劇症化症例においては肝炎発症後のラミブジン投与 では効果に乏しく、予後も不良である。化学療法に伴うＨＢＶの再活性化、劇症肝炎はいかなる化学療法においても引き起こす可能性があり、H B e 抗原やキャリア の肝予備能に関わらず、ラミブジンの予防投与をすることが必要と考える。

b. ... 薬物的除細動は合部調律が続き、その後洞調律となり、薬物療法を行って整脈を維持出来た。 <SKIP/>長年に渡り心房細動が続き、左心房の拡大がかなり拡大してい る症例でも心筋シンチ検査を行い、その所見から、除細動が可能かの判定に役立て

る事が出来ると思われた。

なお，本文末尾以外に登場する一般論については，患者に実際に見られた症例とは区別して， Nタグを付与することとした.

## 本文末尾以外に登場する一般論の例
a. $<\mathrm{N}>$ 平滑筋肉腫 $</ N>$ は、進行又は再発症例では有効な治療法が確立されておらず、 その予後も不良であるのが現状である。今回我々は Ge m c i t a b i n e / Do c e t a x e 1 の化学療法にて予後の改善が得られた後 $
$ 腹膜原発平滑筋肉腫肝転移 $
$ の 1 例を経験したので報告する。...

## 4.6 作業者間一致率

本節でこれまで述べてきた, 病名夕グ付けの基準の妥当性を調査するため, 実際に作業に従事した 10 名のうち 2 名（非医療従事者）がランダムに抽出された 100 件の症例報告を対象に 行ったタグ付け結果について，一致率の評価を行った. 評価は一方の作業者の作業結果を正解, もう一方の結果をシステムの出力結果とみなし, 再現率 (recall), 精度 (precision), F 値を算出 した。正解か否かについては，夕グ種類とタグ範囲が共に一致した場合に正解，それ以外は全 て不正解とした。結果を表 4 に示す.

まず，病名に関するタグ（P夕グ， $\mathrm{N}$ タグ）付与の不一致の原因について述べる，P夕グにつ いては,「菲薄化」「心室細動」などの医学用語に関する知識の差が原因とみられる不一致がみ られた。一方， $\mathrm{N}$ タグについては，P夕グに比べ一致率が低くなる傾向がみられた。また，作業者間で SKIP タグの範囲が異なる場合，その範囲の P タグと $\mathrm{N}$ タグは一方で作業対象となる が，もう一方では SKIP タグの範囲内として処理されることになり，必ず不一致が生じる。こ のため, P夕グ， N夕グの一致率は SKIP夕グの一致率にも影響される.

SKIP タグについては一致率が顕著に低い値となった. 不一致の場合, 同一の症例報告に対 し，両方の作業者がSKIP タグを付与しているものの，その範囲が異なっている例が散見され た。そのような例を，原因とともに $(29),(30)$ に示す.

表 4 タグ付与についての作業者間一致率

表 5 タグ範囲が一致した場合の作業者間タグ種類一致率

## 一般論や考察部分とも, 患者に関しての言及とも捉えることが可能で判断が分かれる 場合

a. 考察：不明熱にて発症し、確定診断まで難渋した症例を経験した。＜SKIP/>A b i ot rophia defectivaは...

b. <SKIP/>考察：不明熱にて発症し、確定診断まで難涉した症例を経験した。Ａｂｉｏ trophi a def ect i v aは...

## 位置がほぼ一致しているが，開始時点の見出しの扱いに相違が見られる場合

a.【考察】<SKIP/>透析患者における悪性リンパ腫の報告は少ない。...

b. <SKIP/>【考察】透析患者における悪性リンパ腫の報告は少ない。...

このように，何をもって一般論・考察の開始とするかについては判断が難しいと考えられ，今後ガイドラインの検討を要する。また，見出しの取扱いについてもガイドラインの修正が必要 である.

両作業者が同一の範囲に $\mathrm{P}$ タグもしくは $\mathrm{N}$ タグを付与した場合についても同様に，一方の作業者の結果を正解，もう一方の作業者の結果を出力とみなし評価した（表 5）。なお，SKIP夕 グについては $\mathrm{P}$ ダや $\mathrm{N}$ タグと同一範囲に付与された例は見られなかった. 結果として, $\mathrm{F}$ 値 が 98.6 と高い一致率を示した。

## 5 病名コーディング

病名コーディングとは，前節で述べた病名タグ付けの作業によって症例報告の文章中から抽出された症状や疾患を表す表現に対して, ICD コードと標準病名を属性として付与する作業で ある。なお, 病名コーディングは, P夕グが付与された表現のみを対象とする。この作業は, 先 の病名タグ付けとは異なり, 医療知識を有する医療従事者が行った。

本研究では，コーパスの作成にあたり 3 名の医療従事者（以下，「作業者」と呼ぶ）が病名コー ディングの作業を担当した。 コーディングにあたっては， 3 名の作業者が意見を交換しつつ，P タグが付与された表現に対して可能な限り ICDコードを付与することを目指し，コーディング を実施した，本節では，病名コーディング作業の基本的な手順，およびコーディング作業にあ たっての留意点について述べる。

## 5.1 コーディング作業の手順

病名コーデイングの作業には万病辞書を用いた。万病辞書とは, 奈良先端科学技術大学院大学が開発しているデータベースであり, ICDコードと, それに対応する標準病名が記載されて いる ${ }^{9} 、$ コーディング作業は, $\mathrm{P}$ タグが付与された表現と, 万病辞書に記載された項目との一致 を利用して行った。

具体的なコーディング作業の流れは次の通りである．P夕グが付与された表現について，ま ず，全文一致検索による自動コーディング処理を行い，そこでコーディング処理がされなかっ たものについては，作業者が人手によるコーディングを行った。詳細な手順を以下に述べる.

## 5.1.1 自動コーディング

P タグが付与された全ての表現を万病辞書で全文一致検索する. 万病辞書の記載に全文一致 する項目が見つかった場合，その項目に対応するICDコードを付与する。

## 5.1.2 人手によるコーディング

人手によるコーディングは, (I) 全文一致検索に基づくコーディングと, (II) 部分一致検索に 基づくコーディングの 2 段階に分かれる。それぞれの手順を以下に述べる.

## (I) 全文一致検索に基づくコーディング

先の自動コーディング処理による全文一致検索の取りこぼしを補うため, P夕グが付与され た表現のうち，略語や英語を伴う表現をパラフレーズしながら万病辞書で検索を行う．全文一致する項目が見つかった場合，そのICDコードを付与する.

例えば，(31)では “Wegener” という英語表記が用いられている。この語は,「ウェゲナー」あ るいは「ウェジナー」と読まれることもあるため,「ウェゲナー」もしくは「ウェジナー」とし ても検索を行う

(31） Wegener（ウェゲナー, ウェジナー）肉芽腫（M313：多発血管炎性肉芽腫症）

(II) 部分一致検索に基づくコーディング

P夕グが付与された表現について, 万病辞書と全文一致する項目がみられない場合, 部分的 に一致する項目を検索したうえで，対応する ICDコードを付与する．部分検索は，P夕グを付与された表現が最も多くの修飾語を含む状態から始め, 万病辞書内の適切な項目に一致するま で，段階的に修飾語を省略しながら実施する。万病辞書と部分的に一致する項目が見つかった 場合，その段階で検索を終了する。

例えば, 「LQT2 型 QT 延長症候群」という表現は, 万病辞書内に全文一致する項目が存在し ない．そこで「LQT2 型」という修飾語を省略し，「QT 延長症候群」で万病辞書を検索するこ
^{9}$ http://www.mednlp.jp/dic-ja.html
}
表 6 修飾語を伴う病名の例「重症熱性血小板减少症候群（A938：重症熱性血小板症)」

とで，対応する ICDコードである「I490：QT 延長症候群」を見つけることができる。なお，「LQT2 型」は遺伝子の型別を表すと解釈できるため, 病名は「遺伝性 QT 延長症候群」とする.

(32) a.「LQT2 型QT 延長症候群」で検索 $\rightarrow$ 一致なし

b.「QT 延長症候群」で検索 $\rightarrow$ I490：QT 延長症候群

また，夕グ付けの段階で欠損したと考えられる情報を補完することで対応する ICDコード の特定が可能になる場合は，情報を補完してコーディングを行った，例えば，(33) は病名の一部が欠けた状態で抽出された表現である。この場合，まず「グレン症候群」で検索を行い，部分一致した項目である「シェーグレン症候群」のICDコードを付与した。

(33) グレン症候群（M350：シェーグレン症候群）

修飾語の有無がコーディングに影響する疾患名や病名も存在するため, 部分一致の検索を行 う際には特に留意する必要がある（5.2.3 節参照）。なお，部分一致検索にあたって修飾語を省略する際は，表 6 のように修飾語が表す意味のカテゴリごとに区分を設けた。

## 5.2 コーディング作業の指針

本節では，コーディング作業における具体的な指針について，実例を挙げながら述べる。

## 5.2.1表記のゆれ

P夕グが付与された表現の中には, 同じ疾患や症状を表すものであっても異なる表記で出現す るものがある．例えば，「R91：胸部異常陰影」という ICDコードに対応する表現は，(34)のよ うにさまざまな表記で現れる。このような場合は，表記の異なりを捨象してすべて同一の ICD コードを付与した。

(34) \{スリガラス／すりガラス／スリガラス状／すりガラス状／スリガラス様 $\}$ 陰影

## 5.2.2 ウェブ上の情報の利用

P タグが付与された表現の中には, 略語で表記されたものや希少疾患, 作業者に馴染みが薄 い病名など，一見するとコーディングが難しいものがある。 (35) に例を示す.

(35) a. 電撃性紫斑病（D692：紫斑病）

b. ペットボトル症候群（E872：ケトアシドーシス）

このような表現についても可能な限り ICD コードを付与するために, ウェブサイトの情報を参考にすることもあった。なお, ウェブサイトの情報の利用頻度にはそれぞれの作業者の間で個
人差があった.

なお，インターネット上の情報を参照するにあたり，情報の信頼性についても考慮した．特 に, 公的機関のウェブサイトや, 日本内科学会症例検索システム「症例くん」 ${ }^{10}$, または検索上位のウェブサイトを参考に，最も妥当であると考えられる ICDコードを付与した。

## 5.2.3 コーディングの精度

同じ病名を含む表現であっても，修飾語の有無によって対応する ICD コードが異なることが ある。そのような場合は最も妥当な分類に対応する ICDコードを付与するように留意した．例 えば，(36)に挙げたような修飾語は，コーディングに影響する。（37) はその具体例である。ま た, (38)のように, 癌に関わる表現は, 「術後」や「再発」などの語の有無によって対応する ICD コードが異なることがある。

（36）二次性, 心因性, 1 型 $\cdot 2$ 型, 原発性, 中枢性, 家族性, 遺伝性, 細菌性, 完全性, 再発性，本態性，疾患部位を表す表現など

(37） a. H814：心血管性めまい

b. H811：体位性めまい

c. T752：低音性めまい

d. F456：心因性めまい

(38) a. C169：早期胃癌

b. Z080：早期胃癌術後

c. C761：乳癌術後胸壁再発

d. C798: 乳癌術後胸壁転移

## 5.2.4複数コーディング

ある 1 つの P タグが付与された表現に対して, 複数の ICDコードや病名が対応すると考えら れる場合, 最大 2 つまでICDコードおよび病名を付与した。

(39) a. 嘔気嘔吐 $(R 11:$ 嘔気・嘔吐症 $)$

b. 脂肪肝合併 2 型糖尿 $(\mathrm{K} 760 ：$ 脂肪肝 $\cdot \mathrm{E} 11 ： 2$ 型糖尿病 $)$

c. 呼吸障害 (J060：呼吸困難 $\cdot \mathrm{J} 969$ ：呼吸不全 $)$

d. 全身関節痛（M2550：多発性関節症・M2559：関節痛）

(39a, 39b)のように，2つの語が並列されて 1 つ表現を構成している場合は, それぞれの単語について万病辞書の検索を行ったうえで，対応する ICD コードおよび病名を 2 つまで付与す る。また, (39c)のように, 病状の程度を表す表現の意味が曖昧で, 病状の重症度が特定できな

い場合は，対応すると考えられる ICD コードを最大 2 つまで付与する。(39d)のように，作業者の間でコーディングについて意見が分かれ，協議の結果 1 つの ICD コードに断定できなかっ た場合，最大 2 つまでICDコードを付与する。

なお，P夕グが付与された 1 つの表現に対して，3つ以上の ICDコードが対応すると考えら れる場合は，その表現をコーディングの対象外とする。(40) はコーディング対象外とされた表現の例である。

(40) a. 血管炎

b. 血栓

c. 肉芽腫

作業者間での意見の相違と, その解決方法については, 5.4.2 節にて改めて詳述する.

## 5.2.5 医学的知識の利用

コーディングを行う際には，医学的知識を利用して表現の意味を解釈しなければならない場合がある，そのような場合は，解釈を補った上でコーディングを行った.

ある検査の異常な結果を表す表現には，その検査異常に対応する ICDコードを付与する。

(41) a. 動脈血ガス（R798：血液ガス値異常)

b. 膵性胸水 (R848：胸水検査異常)

c. 陰性 T 波 (R943：心電図異常）

ある検査で陽性の反応が出たことを示す表現の場合も，その検査結果に対応する ICDコードを 付与する。

（42）胸水結核菌陽性（R845：胸水結核菌陽性）

表現中の医学用語を解釈することで対応する ICD コードが同定できる場合は, その ICD コー ドを付与する。例えば (43)では「副腎外」という語が用いられているが，副腎外という人体の 部位は存在しないため，「異所性」を含む病名を付与する。

（43）副腎外褐色細胞腫（D447：異所性褐色細胞腫）

病状の程度を含む表現は, 病状の程度を解釈し, それに応じて対応する ICD コードを付与 する。

(44) a. 腎機能障害（N289：腎機能低下）

b. 腎障害（N289：腎障害）

c. 急性腎障害（N289：腎障害）

d. 腎病変（N289：腎疾患）

e. 腎機能異常 (R944：腎機能検査異常）

f. 軽度腎機能障害（N289：腎機能低下）

疾患を特定できる臨床所見を表す表現には，対応する疾患のICD コードを付与する．

(45) a. 骨破壊（M0690：関節リウマチ）

b. ニボー像（K567：イレウス）

症状を表す表現であっても，対応する ICDコードが存在する場合は，そのコードを付与する.

(46) a. 脱水 ( $\mathrm{E} 86$ : 脱水症)

b. めまい (R42：めまい)

## 5.2.6 コーディング対象外の表現

以下に挙げる表現は，コーディングの対象外とした。

（47）患者に生じている疾患, 症状を表さない表現

a. 急性期

b. ステージ II

c. 予後不良

（48）細胞変性などを表す表現
a. $\bigcirc$ 変化
b. $\bigcirc$ 浸潤

c. 形態異常

（49）病変部位を 1 つに特定できない表現

a. 多発潰瘍

b. 囊胞

c. 基礎疾患

（50）意味が漠然としており，対応する ICD コードが推測できない表現

a. 拡張

b. 貯留

c. 多発病変

d. 偶発症

（51）部分一致検索で対応項目が見つからず，ICDコードを推測できない表現

a. 症

b. 壁運動障害

c. 囊胞状

（52）検査所見を表す表現（「R91：胸部異常陰影」に対応する表現を除く）

a. ○○状陰影

b. 狭窄所見

c. 壁肥厚
d. low density area

e. 異常集積

## 5.3 病名コーディングの具体的作業

本節では，コーディング作業の具体的な内容について述べる。特に, 作業者間でのコーディ ング作業の分担およびコーディングの結果について詳しく述べる.

## 5.3.1 コーディング作業の分担

病名のコーディングは，コーディング対象デー夕の総数 13,207 件のうち, 自動コーディング 処理がされた 4,603 件を除いた 8,604 件のコーディングを 3 名の作業者が担当した. この 8,604 件のうち, 出現頻度が 5,055 回から 30 回までの, 1,071 件の表現については, 3 名全員がコー ディングを行った. 残りの 7,533 件については， 3 名がそれぞれ分担して個別にコーディングを 行った. ただし, 判断に迷う場合は 3 名で協議しながらコーディングを実施した.

## 5.3.2 コーディングの統一作業

上述の通り, 高頻度の表現（出現頻度 5,055 回から 30 回の 1,071 件）のコーディングは 3 名 の作業者全員が行ったものであるため，3名の間でコーディングの判断が分かれる部分もあっ た. この 1,071 件のコーディングについては 3 名で協議を行い, 最終的なコーディングを決定 した. 最終的なコーディングは, 以下の基準にしたがって決定した.

（53） a. 1つのＰタグが付与された表現に対し， 3 名全員がコーディングの対象外と判断した 場合は，その表現をコーディング対象外とする。
b. 1 つの P タグが付与された表現に対し， 3 名全員が同一の ICDコードを付与した場合 は，そのICDコードを採用する。

c. 作業者の間でコーディングについて見解の相違があった場合は，協議を行い，統一 したICDコードを付与する。

最終的なコーディング決定に至る手順は次の通りである。(I) 作業者各自が行ったコーディン グの結果を照らし合わせた後, (II) 作業者間で意見の対立がある部分について協議し, (III) 最終的なコーディングを決定した。

## (I) 作業者各自が行ったコーディング結果の照合

まず，それぞれの作業者が個別に行ったコーディングの結果を照合した。この時点で， (53) の基準に従い 3 名の作業者間でコーディング結果が一致した場合，コーディングを確定した.結果を表 7 に示す.

また, 作業者間のコーディングの一致率 $(\%)$ を以下の式によって求めた.

$
\frac{\text { 作業者間のコーディングの一致数 }}{\text { コーデイングされた表現数 }} \times 100
$
表 7 コーディングの照合結果

表 8 コーディング作業の一致率

表 9 最終的に決定したコーディングの結果

結果を表 8 に示す. 表 8 では便宜上それぞれの作業者を $h_{1}, h_{2}, h_{3}$ と表記する. 表 8 から, 3 名 の作業者全員のコーディングを対照すると， 7 割程度の一致がみられたことがわかる.

## (II) 作業者間での協議

3 名の間でコーディングについて見解の相違がみられた場合，協議を行ったうえで最終的な コーディングを決定した (5.4.2 節参照).

## (III) 最終的に決定したコーディング結果

作業者間での協議の結果, 最終的に決定したコーディングの件数を表 9 に示す.

## 5.4 コーディング作業の問題点

本節では，実際に病名コーディング作業を行った結果，明らかになった問題点について述べ る。具体的な問題点としては, ICDコードそのものが抱える問題（5.4.1節）と，3名の作業者間 での意見の対立によって生じた問題（5.4.2節）の 2 点がある。以下，それぞれについて述べる.

## 5.4.1ICD コードそのものが抱える問題

病名コーディングの作業を行う中で, ICD コードの分類や表記が抱える問題が示唆された. この問題は，ICDコードそのものが原因であるため，コーディング作業者の努力だけでは解決 することができなかった. 今後の課題といえる.

まず，ICDコードが，どのような基準によって分類されているか不明確なため, $\mathrm{P}$ タグを付与 された表現に対応する ICD コードの検索や同定が困難になることがあった。例えば，(54) は，類似した病名に対応するが異なる分類をもつICD コードの例である.

(54) a. N40：前立腺症

b. N429：前立腺障害

また，さまざまな部位に発生すると考えられる疾患ではあるが，特定の部位についての ICD コードしか存在しないため, 推測によるコーディングをしなければならない場合があった.

(55) a. 伸展不良（Q344：軟産道伸展不良）

b. 側副血行 (Q258：主要大動脈肺動脈側副血行路）

ICD コードに対応する病名の表記にゆれがあり，検索が困難になることがあった。

(56) a.「癌」と「がん」

b. 「囊胞」と「のう胞」

## 5.4 .2 作業者間での意見の対立によって生じた問題

コーディング作業は, 3 名の作業者が行ったものであるため, 意見の相違が生じることもあっ た. この問題に対しては, 作業者間で協議を行うことによって解決を試みた。本節では, 作業者間の意見の相違から生じた問題と, その解決法について述べる.

具体的な問題としては, (I) P タグが付与された表現のコーディング可否についての問題と,

(II) P タグが付与された表現にどの ICD コードを付与するかという 2 つ問題が生じた.

## (I) コーディング可否の問題

ある P タグが付与された表現をコーディングの対象とみなすかどうかという基準について， 3 名の作業者の間で意見が分かれることがあった。本コーパスの目的からすると, P夕グが付与された表現には可能な限りコーディングをすることが望ましい. しかし, 作業者の主観的な 推測によって，本来コーディングの対象外である表現にまでコーディングをするようなことは 避けなければならない.

例えば，作業者の中には，(57) に挙げた表現には対応する ICD コードの存在が推測できるた め，コーディング可能であるという意見があった（カッコ内はコーディング候補）．しかし，こ れらの表現は，ある疾患や症状の発生を推測する手掛かりになりうる表現ではあるものの，患者に生じている疾患や症状そのものを示す表現ではない。そこで, このような場合はコーディ ングの対象外と判断した

(57) a. 転移（C80：転移性腫瘍 $)$

b. 単核球（B270：EB ウイルス伝染単核症, B279：伝染性単核症）

c. 止血困難 (R58 : 出血)

画像所見を表す表現に対しても，可能な限りコーディングを施した。たたし，コーディング

の対象は，実際に患者にその症状が生じていることが明らかな表現に限った．例えば，(58)に 挙げた「腫瘤影」や「腫瘤陰影」という表現は, 患者の身体に腫瘤が存在することを示唆する ため，「R229：腫瘤」のICDコードが対応するという意見があった。しかし，「腫瘤影」や「腫瘤陰影」という表現は，実際に患者の身体に腫瘤が存在がしているかどうかにかかわらず，腫瘤を疑わせる影が認められるだけの場合でも用いることができる。これに対して，「腫瘤形成」 や「腫瘤病変」といった表現は，医師が患者を診察した結果，腫瘤が存在することを確認した 場合に用いられる。したがって，最終的に「腫瘤影」と「腫瘤陰影」は，実際に患者の身体に 腫瘤が存在していることが明らかではない表現と判断して，コーディングの対象外とした.

(58) a. 腫瘤影（コーディング対象外）

b. 腫瘤陰影 (コーディング対象外)

c. 腫瘤像 (R229：腫瘤）

d. 腫瘤形成 (R229：腫瘤）

e. 腫瘤病変 (R229：腫瘤）

なお, 異常陰影を表す表現も画像所見であるが,「R91：胸部異常陰影」のみ ICD コードが存在するため, 胸部の陰影を表すと解釈できる表現についてはコーディングを行った.

(59) スリガラス陰影 (R91：胸部異常陰影）

## (II) 対応する ICD コードの問題

P夕グが付与された表現の中には, 作業者によって, どの ICDコードを付与するか見解が分 かれたものがあった。そのような場合, 3 名の作業者で協議したのち, 統一したICDコードを 付与するか，統一できない場合は 2 つまでICDコードを付与した．（60）は多数意見を採用した 例である。なお，以下では 3 名の作業者をそれぞれ $h_{1}, h_{2}, h_{3}$ と表記し，それぞれが行ったコー ディング結果をカッコ内に例示する.

(60) 心窩部不快感 (R198：心窩部不快）

$h_{1}, h_{2}, h_{3}$ :(R198 : 心窩部不快, R198：心窩部不快, R908：胸部不快)

なお, ICDコード付与の判断にあたっては，必ずしも多数意見を採用するのではなく，特に重要と思われるものであれば少数意見も採用した. (61)はその例である.

（61）虚血性小腸炎（K559：虚血性腸炎）

$h_{1}, h_{2}, h_{3}$ ：(K529：小腸炎, K529：小腸炎, K559：虚血性全腸炎)

また，1つの表現に対応する ICDコードを 1 つに断定できない場合は，5.2.4 節に示した基準 に依拠して，2つまでICDコードを付与した.

(62) 呼吸障害 (J060：呼吸困難 - J969：呼吸不全）

$h_{1}, h_{2}, h_{3}$ :(R060：呼吸困難, J969：呼吸不全, R060：呼吸困難）

## 6 応用システム：病名抽出器の構築

ここまで，医療テキストコーパスの構築方法について述べてきたが，本節ではこのコーパス を用いた応用システムの可能性について議論する。本コーパスの最も素朴な応用は, このコー パスを学習データとして類似症例検索システムや診断支援システムといった, 様々な高次の応用システムで利用可能な病名抽出器を作ることである. 以下では, タグ付けされていない医療 テキストから自動で病名を抽出する病名抽出器の概要について述べる。なお, 前節までは疾患名・症状名などを区別してきたが，本節では 4 節で夕グ付け対象とされていたものを単に病名と 呼ぶことにする。

## 6.1 病名抽出器の処理

前節までに説明した医療テキストコーパスを教師データとして用いて, 病名を自動で抽出す る病名抽出器を開発した. 以下では, 本病名抽出器の処理方法について述べる. 提案する病名抽出器は以下の 2 つの処理を同時に行う.

(i) 事象認識 (ER): 医療テキストにおける病名および疾患名を識別する。これは，一般的な 固有表現認識タスクと類似した処理である。以降，この処理を ER (Entity Recognition) とも呼ぶ.

(ii) 陽性／陰性 $(\mathrm{P} / \mathrm{N})$ 分類：テキスト中の $\mathrm{P}$ タグと $\mathrm{N}$ タグの区別を行うタスクである。以降, この処理を $\mathbf{P} / \mathbf{N}$ 分類と呼ぶ.

病名抽出器の 2 つの処理は，4節で説明したアノテーションによる病名タグと対応している。夕 グの学習にあたっては, 文字単位で事象認識と事象の事実性判別を同時に系列ラベリングの問題として解いた。一般的に, 医療テキストには長く複雑な複合名詞（例えば, 「傍大動脈リンパ 節郭清」など）や，ひらがなのみからなる医療用語（例えば，「びまん」など）が多く出現する ことにより, 形態素解析の誤りがしばしば発生する。 そのため, 病名抽出器では, 単語単位で はなく，より頑健な文字べースでの解析 (Asahara and Matsumoto 2003) を採用した. 図 2 に文字ベースでの系列ラベリングと単語ベースでの系列ラベリングの違いを示す.

事実性の判定に関しては, これまでにも多くの先行研究があるが (北川, 小町, 荒牧, 岡崎,石川 2015; 松田, 吉田, 松本, 北 2016), 本研究では一般的かつ実装が簡易な手法でコーパス の規模と精度の関係を調査するため，事象認識のラベルとして事実性を表現した。通常，事実性判定（P/N 分類）は事象認識の後に適用される。しかし, $\mathrm{P} / \mathrm{N}$ 分類に必要な情報は ER で必要な情報と重複する部分も多い. 例えば，「〜が認められる」「〜が認められない」は，ともに 病名出現の大きな手がかりであるとともに, $\mathrm{P} / \mathrm{N}$ 分類の手がかりにもなる.このため, $\mathrm{ER}$ と $\mathrm{P} / \mathrm{N}$ 分類の 2 タスクを 1 つに融合する方式を採用した.

#
6.2 実験

6.1 節では, 医療テキストコーパスの応用システムとして, 病名抽出器の処理方法について 述べた。 以下では, 実際に病名抽出器を用いて症例報告に自動夕グ付けを行い, 精度について 評価を行った。まず，教師データには夕グ付けにより病名に対して P夕グ， $\mathrm{N}$ タグが付与され た 500 件の症例からなるコーパスを用いた。なお，本タスクは病名抽出を目的としているため, コーパスの SKIP タグを削除し，本来 SKIP タグがあった箇所以降も通常のP タグ，N タグの 基準によって夕グ付けを行った。前処理として，初めにテキストデータを文に分解し，一般の 固有表現抽出の手法にしたがって, 文字単位で開始 (B), 内側 $(\mathrm{I})$, 外側 $(\mathrm{O})$ の IOB2 ラベルを付与した（図 2)。系列ラベリングの学習には $\mathrm{CRF}^{11}$ を用いた。表 10 に CRF で用いた文字べー スの特徴テンプレートを示す. 特徴として表層文字と文字種（漢字, ひらがな, カタカナ, 英数字）のみを用いた. ウィンドウサイズは前方 2 文字, 後方 5 文字に設定した. 後方のウィン ドウサイズを大きく設定したのは, $\mathrm{P} / \mathrm{N}$ 分類の手がかりとなる, 否定に関わる述語が病名の後方に現れるためである.

評価は 500 件の症例報告を用いた 10 分割交差検証で行い, 結果は $\mathrm{ER}$ と $\mathrm{P} / \mathrm{N}$ 分類を個別に 評価した。表 11 に $\mathrm{ER}$ の結果，表 12 に タグ， $\mathrm{N}$ タグのそれぞれの抽出性能を示す. 評価

\begin{abstract}
スカテキスト
腫瘤は肝細胞癌ではなく肝の孩立性形質細胞腫と診断された。
\end{abstract}

単語ベース系列ラベリング

文字ベース系列ラベリング

## タグ付き出カテキスト

腫㿔はくN>肝細胞癌く/ $N>$ ではなく肝のくP>孤立性形質細胞腫く/ $P>$ と診断された。

図 2 提案する病名抽出器による医療テキストからの病名抽出の例, ならびに, 単語べースの系列ラベリ ングと文字ベースの系列ラベリング（本病名抽出器で適用）の比較

表 10 文字ベース CRF における特徴テンプレート

表 11 病名抽出器による $\mathrm{ER}$ の精度

表 $12 \mathrm{P} / \mathrm{N}$ 分類の精度

(a) P タグ抽出性能

(b) $\mathrm{N}$ タグ抽出性能

は CoNLL200012で提供されたツールを用いた。比較のために単語べース CRFでの結果も並記 する.

結果としては, ER, P/N 分類いずれにおいても, 若干であるが文字べースによる手法が単語 ベースによる手法の性能を上回った． ER については 85.0 以上の高い精度であり，P夕グにつ いても 80.0 以上の高い精度での抽出に成功している。一方, $\mathrm{N}$ タグについては，文字べースで も 55.0 と低い精度であった（いずれも評価指標は $\mathrm{F}$ 値）。この原因の 1 つとしては，P夕グに 比べて N夕グの出現頻度が低いことが考えられる。また，もう1つの原因として，陰性である と判断するためには，設定よりも大きな文脈を要する場合があり，CRFではこれが困難である ことが挙げられる.

本医療テキストコーパスを利用し，いかに $\mathrm{N}$ タグを高い精度で捉えられるかが今後の課題の 1 つである。なお，本システムはウェブサイト 13 にて配布している。

## 7 おわりに

本稿では, 自然言語処理による電子カルテからの情報抽出に必須となる, 病名がアノテーショ ンされたコーパスの開発について述べた。また, 実際にアノテーターが作業した際の問題を, 一致率を含め議論を行った。 さらに、コーパスを用いて構築した病名抽出器を題材に，コーパス の応用可能性について議論した. 本稿のアノテーション仕様が，今後の医療分野におけるコー パス開発の一助となることを祈念する.

## 謝 辞

本研究の一部は国立研究開発法人日本医療研究開発機構（AMED）の臨床研究等 ICT 基盤構築研究事業 : 総合診療医の診療支援及び診療業務効率化の支援基盤構築に関する研究（課題番号：16930323）の支援によって行われた。また，本論文の内容の一部は，言語処理学会第 23 回年次大会で発表したものである (荒牧, 岡久, 矢野, 若宮, 伊藤 2017).

## 参考文献

Aramaki, E., Miura, Y., Tonoike, M., Ohkuma, T., Mashuichi, H., and Ohe, K. (2009). "Text2table: Medical Text Summarization System Based on Named Entity Recognition and Modality Identification." In Proceedings of the Workshop on Current Trends in Biomedical Natural Language Processing, pp. 185-192. Association for Computational Linguistics.

Aramaki, E., Morita, M., Kano, Y., and Ohkuma, T. (2014). "Overview of the NTCIR-11 MedNLP-2 Task." In Proceedings of the 11th NTCIR Conference, pp. 147-154.

Aramaki, E., Morita, M., Kano, Y., and Ohkuma, T. (2016). "Overview of the NTCIR-12 MedNLPDoc Task." In Proceedeings of the 12th NTCIR Conference on Evaluation of Information Access Technologies, pp. 71-75.

荒牧英治, 岡久太郎, 矢野憲, 若宮翔子, 伊藤薫 (2017). 大規模医療コーパス開発に向けて. 言語処理学会第 23 回年次大会発表論文集, pp. 1200-1203. 言語処理学会.

Asahara, M. and Matsumoto, Y. (2003). "Japanese Named Entitiy Extraction with Redundant Morphological Analysis." In Proceedings of HLT-NAACL 2003, pp. 8-15.

Bouchet, C., Bodenreider, O., and Kohler, F. (1998). "Integration of the Analytical and Alphabetical ICD10 in a Coding Help System. Proposal of a Theoretical Model for the ICD Representation." Medinfo 1998, 9 (1), pp. 176-179.

Fabry, P., Baud, R., Ruch, P., Le Beux, P., and Lovis, C. (2003). "A Frame-based Representation of ICD-10." Studies in Health Technology and Informatics, 95, pp. 433-438.

科学技術振興機構研究開発戦略センター (2017). 研究開発の俯瞰報告書：ライフサイエンス・臨床医学分野（2017 年）. 技術資料, 国立研究開発法人科学技術振興機構.

Kelly, L., Goeuriot, L., Suominen, H., Schreck, T., Leroy, G., Mowery, D. L., Velupillai, S., Chapman, W. W., Martinez, D., Zuccon, G., and Palotti, J. (2014). "Overview of the ShARe/CLEF eHealth Evaluation Lab 2014." In Information Access Evaluation: Multilinguality, Multimodality, and Interaction, Vol. 8685, pp. 172-191. Springer, Heidelberg; New York; Dordrecht; London.
北川善彬, 小町守, 荒牧英治, 岡崎直観, 石川博 (2015). インフルエンザ流行検出のための事実性解析. 言語処理学会第 21 回年次大会発表論文集, pp. 218-221.

松田紘伸, 吉田稔, 松本和幸, 北研二 (2016). Twitter を用いた病気の事実性解析及び知識べー ス構築. In Proceedings of the 30th Annual Conference of the Japanese Society for Artificial Intelligence, pp. 1-4.

Morita, M., Kano, Y., Ohkuma, T., Miyabe, M., and Aramaki, E. (2013). "Overview of the NTCIR-10 MedNLP Task." In Proceedings of the 10th NTCIR Conference, pp. 696-701.

Uzuner, O. (2008). "Second i2b2 Workshop on Natural Language Processing Challenges for Clinical Records." In AMIA Annual Symposium Proceedings, pp. 1252-1253.

WHO (1992). ICD10: International Statistical Classification of Diseases and Related Health Problems. World Health Organization. http://www.who.int/classifications/icd/en/.

Yamada, E., Aramaki, E., Imai, T., and Ohe, K. (2010). "Internal Structure of a Disease Name and Its Application for ICD Coding." Studies in Health Technology and Informatics, 160 (2), pp. 1010-1014.

## 略歴

荒牧英治：2000 年京都大学総合人間学部卒業. 2005 年東京大学大学院情報理工系研究科博士課程修了. 博士 (情報理工学). 以降, 東京大学医学部附属病院特任助教を経て, 奈良先端科学技術大学院大学特任准教授. 医療情報学, 自然言語処理の研究に従事.

若宮 翔子：2013 年兵庫県立大学大学院環境人間学研究科博士後期課程修了.

博士（環境人間学)．以降，京都産業大学コンピュータ理工学部研究員を経 て，2015 年より奈良先端科学技術大学院大学博士研究員. ソーシャル・コン ピューティングに関する研究に従事. 情報処理学会会員.

矢野 憲: 2009 年広島大学大学院工学研究科情報工学専攻博士後期課程修了.

博士 (工学). 以降, 大阪大学臨床医工学融合研究教育センター技術補佐員,福岡大学工学部ポストドクター, 国際電気通信基礎技術研究所研究技術員を 経て, 2016 年より奈良先端科学技術大学院大学博士研究員. 機械学習, 自然言語処理に関する研究に従事. 情報処理学会, 電子情報通信学会, 人工知能学会各会員.

永井 宥之：2017 年京都大学大学院人間・環境学研究科修士課程修了. 修士 (人間・環境学)，現在，同大学院博士後期課程在学中，専門は日本語学，認知言語学。日本認知言語学会会員.
岡久 太郎：2016 年京都大学大学院人間・環境学研究科修士課程修了. 修士 (人間・環境学). 現在, 同大学院博士後期課程在学中. 専門は認知言語学. コ ミュニケーション研究, マルチモーダル研究. 日本語用論学会, 日本社会言語科学会各会員.

伊藤薫 : 2012 年京都大学大学院人間・環境学研究科修士課程修了. 修士 (人間・環境学). 現在, 奈良先端科学技術大学院大学研究員. 自然言語処理に関 する研究に従事. 専門は認知言語学, 談話・テクスト言語学. 言語処理学会,日本認知言語学会, 日本語用論学会各会員.

$(2017$ 年 5 月 22 日 受付)
$(2017$ 年 8 月 7 日 再受付)
$(2017$ 年 9 月 21 日 採録)