# NTCIR-16: NII Testbeds and Community for Information access Research

加藤 誠 $\dagger \cdot$ 山本 岳洋 ${ }^{\dagger \dagger} \cdot$ 神門 典子
## 1 はじめに

NTCIR (NII Testbeds and Community for Information access Research) は，情報検索，情報推薦，テキスト要約，情報抽出，質問応答などの情報アクセス技術の発展を目的とした，コミュニティ主導の評価型ワークショップである。ワークショップの参加者は提案されたタスクの中から興味のあるタスクを選んで参加し，システム出力結果を提出することで評価結果を得ることができる。また，参加者は開発したシステムに関して論文を執筆し NTCIR カンファレンスにて発表・議論を行う。一般的な Shared task と対比すれば，NTCIR は各回 1.5 年の期間をかけて長期的に実施される試みであり，また，NTCIRの「C」が Community を指すように「コミュニティ」を重視した活動となっている。これには以下のような理由が挙げられる：

（1）夕スク運営者と参加者の積極的な議論（評価方法の検討, 査読付きの学会では困難な失敗事例の共有など),

（2）データセットやッールなどの基盤形成（情報アクセス技術向けの大規模なデータセットの構築には，夕スク運営者や評価者のみならず参加者による貢献が必要不可欠である $\left.{ }^{1}\right)$,

(3) 国際協調とそれに伴う多言語化（NTCIR では多くの多言語タスクが運営されてきた）,

（4）参入障壁を下げ研究分野を活性化（参加者にとっては研究の支援が受けられ，運営者にとってはタスクに取り組む人口が増えることで自身の専門分野の発展につながる).

本解説記事では，これまでに NTCIR にて運営されてきたタスクの傾向について説明し，その後，NTCIR-16 (Yamamoto and Dou 2022)（2020 年 12 月～2022 年 6 月実施）で運営されたタスクの概要について解説する。これまでに NTCIR が情報アクセス分野においてどのような貢献


 & QA & & & & & $\star$ & $\star$ & * & * & & & & & & & & \\

表 1 NTCIR-1 から NTCIR-16 までに運営されたタスク。

をしてきたかについては，書籍「Evaluating Information Retrieval and Access Tasks: NTCIR's Legacy of Research Impact」(Sakai et al. 2021)にて解説されている. オープンアクセスであるため，興味のある方はぜひご覧いただきたい.

## 2 これまでの NTCIR タスク

1997 年に NTCIR プロジェクトが発足して以来, 合計 16 回の NTCIR が開催されてきた $(2022$年 9 月時点). NTCIR-1 から NTCIR-16 までに, 表 1 に示すようなさまざまなタスクが運営されてきた。

NTCIR-1 から NTCIR-4 の最初期には, 多言語検索やウェブ検索, 情報抽出, テキスト要約,質問応答, 特許検索などがタスクとして提案された。その後, トレンド情報要約, 多言語質問応
答, 意見情報抽出，特許マイニング，地理時間情報検索，特許翻訳などが登場した，NTCIR-11 では，それまでのタスクが一新され，対話的情報検索，多言語エンティティリンキング，モバイル検索，含意関係認識，発話文書検索など，夕スクの多様化が進んだ。その後，数式検索，医療文書からの情報抽出，入試問題や議会議事録などを対象にした質問応答，時間情報を考慮した情報検索, レシピ検索，ライフログ検索といったように，検索・分析対象も多様になっていった，NTCIR-13では，新タスクが多く運営されるようになっていき，対話生成，質問文検索，知識グラフ構築, 感情要因抽出, 脳波に基づく画像分類, ウェブ検索などが提案され, NTCIR-14 から NTCIR-16 では, 数值情報の分類, 対話評価, 多言語文書分類, データ検索, 行動認識, 視線情報に基づく情報検索，セッション検索，ランキング学習などのタスクが提案された。

近年（NTCIR-16 実施時点）のタスクの特徴としては以下の 3 点が挙げられる：

（1）ユーザ行動情報. 従来のタスクにおいて，ユーザから与えられる入力はキーワードクエリなどテキスト情報が一般的であったが，さまざまなウェアラブルデバイスの普及によって, ライフログや脳波, 視線情報など, 多様な情報が入力として想定されるようになってきている.

（2） 数值情報. テキスト情報の理解・検索に加えて，数值情報の理解や統計データの検索がタスクとして取り組まれてきている。他の固有表現と比べ, 数値自体からその意味を読み取ることは難しく, 周辺情報に基づく推定が必要になるため新たな技術が必要となっている.

(3) 対話. チャットベースのアプリケーションやスマートスピーカなどの普及，また，テキスト生成技術の発展などに伴って, 対話関連のタスクがいくつか提案されてきている.

## 3 NTCIR-16

NTCIR-16では, 表 1 の最右列に示される通り, 合計 10 種類のタスクが運営された (Yamamoto and Dou 2022). タスク数は過去最多であり, 固有表現抽出や情報抽出などの自然言語処理関係のタスクから，ウェブ検索やライフログ検索，データ検索などの情報検索関係のタスク，さらに対話評価や視線情報活用など，運営されたタスクの多様さも際立った回であったといえる。また，FinNum では金融文書，QA Lab-PoliInfo では政治関連文書，そして，Real-MedNLP では医療文書など，特定のドメインに特化した自然言語処理タスクが多く提案されているのも特徴的な点である.

以下では, Core タスク（タスク設計や評価方法がある程度確立されたタスク）から Pilot タスク （タスク設計や評価方法などについて検討の余地がある比較的新しいタスク）の順に, NTCIR-16 のタスクの概要を説明する。

## 3.1 Data Search 2 (Core) (Kato et al. 2022)

本タスクはデータ検索を対象としたタスクであり, e-Statやdata.govなどのサイトで公開されている，統計データを検索対象とした検索タスクを提供している．例えば，「What is the largest causes of death in United State in 1999-2016」という情報要求があって, 「causes of death us 1999-2016」というキーワードクエリが与えられた場合に, 死因の統計データを上位に順位付けるようなシステムの開発を目的としている。特に，情報量の少ないメタデータとクエリをどのようにマッチングさせるか, また, 数值から構成される統計データをどのように扱うかが技術的な課題として設定されている.

## 3.2 DialEval-2 (Core) (Tao and Sakai 2022)

NTCIR-12 から NTCIR-14 までに, Short Text Conversation (STC) という，与えられた短い会話文に対して適切な回答を生成するタスクが運営されていた. DialEval はSTCの流れを汲んだタスクであり，ヘルプデスク対話データの評価をタスクとし，参加者が行った評価の評価を行ったタスクである。タスクは 2 種類設定されており, Dialogue quality サブタスクでは対話全体の評価値の推定, Nugget detection サブタスクでは各発話の種類（問題の説明, 解決方法, など）の推定を行う．両タスクとも複数の評価者が正解ラベルを付与しており，タスク参加者はそれらの平均や最頻値などではなく，分布を正しく推定することが求められる。

## 3.3 FinNum-3 (Core) (Chen et al. 2022a)

本タスクは金融関連のテキスト情報における数値情報の理解に焦点を当てたタスクであり， これまでに同様のトピックで 3 回のタスクが運営されている。今回のタスクでは, 株式アナリストが書いた文書と企業の収支報告書を対象としており，「売上成長率が $40 \% を$ 超える見达みだ」といったような専門家による数値的予測を含む主張を発見することを目的としている。また, 過去の FinNum タスクで提案された数値の分類もタスクに含まれており, 数値が金額, 值段, 時間, 量, 型番, 順位などの分類のうち, どれに該当するかを予測をすることが求められている.

## 3.4 Lifelog-4 (Core) (Zhou et al. 2022)

その名の通り，本タスクはライフログ情報を対象とした検索タスクであり，1名のライフロガーの４ケ月に渡るライフログデータの中から特定の情報を探し出すタスクを提供している. ライフログデータは, (1) 時間, 場所, 生体情報などのメタデータ, (2) ウェアラブルカメラで撮影された画像データ, (3) 画像デー夕に対して物体認識を行った結果, から構成されており, これらと「家で泠蔵庫中を司いたとき」や「道に迷って人に訪ねているとき」といったテキス卜入力を対応付けて検索することが求められている。一般的なシステム評価に加えて，ユーザ

が関与するインタラクテイブなシステムの評価も行っておりユニークなタスクとなっている.

## 3.5 QA Lab-PoliInfo-3 (Core) (Kimura et al. 2022)

本タスクは地方議会議事録に対する自然言語処理タスクであり，あるトピックに対する各政党の賛否を推定するなど，政治関連文書の理解を支援するための技術について取り組んできている。NTCIR-16においては以下の 4 つの問題に取り組んでいる. QA alignment サブタスクでは，与えられた質問への回答を議事録の中から発見し，Question answering サブタスクでは，与えられた質問への回答を議事録に基づいて生成する. Fact verification サブタスクは, 与えられた議事録要約文を含意するような箇所を発見するタスクで, Budget argument mining サブタスクは，議事録中の数値と予算案中の数値を対応付けるタスクである.

## 3.6 WWW-4 (Core) (Sakai et al. 2022)

ウェブ文書検索は, NTCIR-3 (2002 年)から取り組まれてきた課題であり，情報検索技術の応用先として非常に重要な問題である．WWWはウェブ文書検索を扱ったタスクであり，NTCIR-13 （2017 年）から継続的にタスクを運営し, ウェブ情報検索の代表的なベンチマークとしての役割を果たしてきた，本タスクのユニークな点としては，再現可能性の重視と技術的進歩の測定が挙げられる。WWW-3（NTCIR-15にて開催）においてもっとも良い成績を収めた参加チー ムは，WWW-4（NTCIR-16にて開催）において同システムの結果を提出することが求められており，これによってWWW-4 において実際に技術革新があったかどうかを検証することができるようになっている，また，WWW-3においてもっとも良い成績を収めた参加チームの結果を，他のチームが再現することも推奖されており，これによって再現可能性を検証することも行っている.

## 3.7 RCIR (Pilot) (Healy et al. 2022)

本タスクは，より詳細なユーザ情報を活用しようとするタスクの 1 つであり，文書内におけるユーザの視線情報を情報アクセス技術のために利用しょうとする試みである。特に本タスクでは, 視線情報からの文書理解度の推定, および, 凝視情報に基づいたパッセージ検索タスクを提供している. 本タスクで提供されているデータセットは，9名の実駼協力者から得られた， 96 パッセージに対する視線情報，および，その理解度に関するデータであり，視線情報を活用した他の研究にも活用されることが期待される.

## 3.8 Real-MedNLP (Pilot) (Yada et al. 2022)

MedNLP タスクは医療関連文書に対する自然言語処理タスクであり，過去には固有表現抽出や国際疾病分類コードの付与タスクなどを提供してきた．NTCIR-16 の Real-MedNLP は 4 度
目のタスク提案であり，これまでには提供できなかった，実際の医療文書（症例報告）を対象として，2 種類のタスクを， 2 言語（日英）にて提供している．1つ目は症状などの固有表現抽出であり, 少数の文書にのみアノテーションが与えられている設定や固有表現の各クラスの定義文のみを学習データとして用いられる設定など，低リソース下を想定したタスクとなっている.もう1つは応用寄りのタスクであり, 医療文書からどのような薬物有害事象が起こるかを予測することを目的としている。

## 3.9 SS (Pilot) (Chen et al. 2022b)

これまでの多くの情報検索タスクは 1 つのクエリに対して1つの検索結果リストを返却するシステムを想定していたが, 多くの検索タスクでは複数のクエリを入力し, 複数の検索結果リストを閲覧する必要がある。本タスクは，あるセッション（複数の検索を含む検索行動の単位） が与えられた上で，クエリに対し適合する文書を検索するタスクである。例えば，「東京観光秋」といったクエリの後に「東京観光寺」というクエリで検索した場合には, 紅葉がきれいな東京の寺に関する情報がより適合すると考えられる。 TianGong-ST というSogou（捜狗）検索エンジンのクリックログを利用したタスク設計となっており，大規模な実ユーザの検索行動情報を利用可能である.

## 3.10 ULTRE (Pilot) (Zhao et al. 2022)

本タスクはランキング学習に関するタスクであるが，特に近年着目されているクリック情報のバイアスに焦点を当てたタスク設計となっている. ランキング学習は, クリック情報などを活用しランキングモデルを学習することで, 利用者にあったランキングを生成する技術であるが，クリック自体にバイアス（例えば，検索結果の上位にある結果はクリックされやすいという「順位バイアス」がある）が存在するため，学習によって得られるモデルにもバイアスが生じてしまう。このタスクでは，バイアスを含まないランキングモデルの構築を目的として，シミュレーションによるクリックデータの提供，および，学習されれたランキングモデルの評価を行っている。

## 4 おわりに

本解説記事では, NTCIR にて運営されてきたタスクの傾向について説明し, NTCIR-16で運営されたタスクの概要について解説した．NTCIR はこれまでにさまざまな自然言語処理タスクを扱ってきており, 近年, その多様性は増している。もしコミュニティ単位で取り組みたいような, 情報アクセス関連の研究課題をお持ちであれば, 次回の NTCIRでのタスク提案を検討していただければ幸いである.

## 謝 辞

NTCIR の運営は非常に多くの方に支えられており以下の方々に対してここに記して謝意を表したく存じます. タスクの選定にあたっては NTCIR-16 プログラム委員会, タスク運営にあたっては NTCIR-16の各タスク運営者の皆様にご尽力をいただきました．また， NTCIR-16参加者の皆様にも, システム結果の提出, 論文執筆, NTCIR-16 カンファレンスでの発表および議論等をいただき，各タスクが設定する研究課題に対して貢献をいただきました． NTCIR-16 カンファレンスの実施にあたっては, 詳細なチュートリアルを提供してくださった酒井哲也先生, キーノートスピーカーの皆様, NTCIR-16 カンファレンス実行委員会の皆様, それから, カンファレンス運営を支えてくだっっ石下円香様, 大須賀智子様, 篠原清子様, 河田友香様にもお礼申し上げます.

## 参考文献

Chen, C.-C., Huang, H.-H., Huang, Y.-L., Takamura, H., and Chen, H.-H. (2022a). "Overview of the NTCIR-16 FinNum-3 Task: Investor's and Manager's Fine-grained Claim Detection." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 87-91.

Chen, J., Wu, W., Mao, J., Wang, B., Zhang, F., and Liu, Y. (2022b). "Overview of the NTCIR16 Session Search (SS) Task." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 353-358.

Healy, G., Le, T.-K., Tran, M.-T., Nguyen, T.-B., Quach, B. M., and Gurrin, C. (2022). "Overview of the NTCIR-16 RCIR Task." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 258-265.

Kato, M. P., Ohshima, H., Liu, Y.-H., Chen, H.-L., and Nakano, Y. (2022). "Overview of the NTCIR-16 Data Search 2 Task." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 12-18.

Kimura, Y., Shibuki, H., Ototake, H., Uchida, Y., Takamaru, K., Ishioroshi, M., Yoshioka, M., Akiba, T., Ogawa, Y., Sasaki, M., Yokote, K., Kadowaki, K., Mori, T., Araki, K., Mitamura, T., and Sekine, S. (2022). "Overview of the NTCIR-16 QA Lab-PoliInfo-3 Task." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 156-174.

Sakai, T., Oard, D. W., and Kando, N. (2021). Evaluating Information Retrieval and Access Tasks: NTCIR's Legacy of Research Impact. Springer Nature.

Sakai, T., Tao, S., Chu, Z., Maistro, M., Li, Y., Chen, N., Ferro, N., Wang, J., Soboroff, I.,
and Liu, Y. (2022). "Overview of the NTCIR-16 We Want Web with CENTRE (WWW-4) Task." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 231-242.

Tao, S. and Sakai, T. (2022). "Overview of the NTCIR-16 Dialogue Evaluation (DialEval-2) Task." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 51-65.

Yada, S., Nakamura, Y., Wakamiya, S., and Aramaki, E. (2022). "Real-MedNLP: Overview of REAL document-based MEDical Natural Language Processing Task." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 285-296.

Yamamoto, T. and Dou, Z. (2022). "Overview of NTCIR-16." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 3-7.

Zhao, Y., Niu, Z., Wang, F., Mao, J., Ai, Q., Yang, T., Zhang, J., and Liu, Y. (2022). "Overview of the NTCIR-16 Unbiased Learning to Rank Evaluation (ULTRE) Task." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 370-376.

Zhou, L., Gurrin, C., Healy, G., Joho, H., Nguyen, T.-B., Albatal, R., Hopfgartner, F., and Dang-Nguyen, D.-T. (2022). "Overview of the NTCIR-16 Lifelog-4 Task." In Proceedings of the 16th NTCIR Conference on Evaluation of Information Access Technologies, pp. 130-135.

## 略歴

加藤誠 : 筑波大学図書館情報メディア系准教授. 2012 年京都大学大学院情報学研究科博士後期課程修了．博士 (情報学)．情報検索の研究に従事．NTCIR9 から夕スク運営者として関わり，NTCIR-12 から NTCIR-15 ではプログラ厶共同委員長, NTCIR-16 からは共同実行委員長を務める.

山本岳洋 : 2011 年京都大学大学院情報学研究科博士後期課程修了. 博士（情報学). 現在, 兵庫県立大学大学院情報科学研究科准教授. 主に情報検索におけるユーザインタラクションやユーザ理解に関する研究に従事． NTCIR-10 から NTCIR-14 にかけてタスク運営者として関わり, NTCIR-16, NTCIR-17 ではプログラム共同委員長を務める。

神門典子：1994 年慶應義塾大学大学院文学研究科後期博士課程修了. 博士 (図書館・情報学)，現在，国立情報学研究所教授，主に情報検索・情報アクセス技術の研究に従事. 1997 年末に NTCIR を開始し, 以降, 国内外の多くの研究者と協力し多様なタスク提案・運営・国際協調等を進めてきた．ACM SIGIR Academy Inaugural Inductee. 言語処理学会, 人工知能学会, 情報処理学会, ACM，ACL，ASIS\&T 各会員.