学術情報センター助教授
神門 典子
（http://www.rd.nacsis.ac.jp/~ntcadm/）
日本学術振興会の未来開拓研究プロジェクトの一環として日本語情報検索と用語抽出に関する評価ワークショップ，第１回NTCIRワークショップを1999年８月30日〜９月１日に，KKRホテル東京（旧，竹橋会館）で開催した。
NTCIR（NACSIS Test Collection for Information Retrieval systems）は，学術情報センター研究開発部で構築した，情報検索システムの検索実験用データセットであるテストコレクションのことで，エンティサイルと読む。評価ワークショップは，複数の研究グループが，共通のデータセットを用いて，それぞれのアプローチで共通の研究タスクを遂行し，その成果の共通の評価法に基づく分析的比較によって，各手法の効果を明らかにしていく研究形態で，大規模な正解つきデータセットの構築，情報・技術移転の促進，特定研究課題の集中的研究など，種々の成果が期待される。
NTCIRワークショップでは，参加グループは1998年11月から「テストコレクション１（NTCIR-1）」を使用して研究を進め，その成果が報告された。テストコレクションは，文書，利用者の情報要求を記述した検索課題群，各検索課題に対する正解文書リストからなるが，NTCIR-1は，学術情報センターの「学会発表データベース」から抽出した約33万件のレコードを用い，文書の半数以上は日本語と英語の対である。NTCIR-1は，学術文書，日英の言語横断検索などの特徴から国際的にも着目されている。
９月１日は，郵政省通信総合研究所と自然言語処理の研究者が中心になって組織された評価ワークショップIREXとの合同ワークショップとし，基調講演に，米国の情報検索と情報抽出の評価ワークショップTRECとMUCの議長，ドナ・ハーマン女史（米国国立標準技術院：NIST）とラルフ・グリッシュマン教授（ニューヨーク大学）を迎えた。パネルディスカッションでは，ACM-SIGIR2000実行委員長マンキュウ・レオン博士（シンガポール国立ケントリッジデジタル研究所）の基調講演に続き，今後の評価ワークショップについて，活発な議論が交わされ，盛会のうちに散会した。
NTCIRワークショップの目的は，（1）大規模テストコレクション構築，（2）大規模テストコレクションと共通の評価基盤を提供することによる日本語情報検索，言語横断検索および関連分野の研究促進，（3）意見交換の場の提供である。
情報検索システムの研究開発では，新しく提案される手法は，現実の情報検索システムに匹敵する大規模なテストコレクションを用いて有効性を評価する必要がある。日本語情報検索の研究には日本語テストコレクションが必要である。日本語テストコレクションには新聞記事約5000件を用いたBMIR-J2があり，多くの研究者が使用しているが，文書の種類，文書量の両面で一層の拡充も強く求められていた。言語横断検索は，システムに投入した問合せとは異なる言語で書かれた文書も一括して検索することで，インタネットでは必須である。特に，日本語の学術文書では，専門用語が外国語の原綴で書かれている場合も多く，日本語文書検索でも言語横断技術が必要である。
６カ国31グループが参加登録をした。内訳は，検索系タスク28（随時検索23，言語横断検索16），用語抽出タスク９（重複あり），うち，企業研究所からの参加も10グループあった。以下のグループが結果を提出した。
郵政省通信総合研究所，富士ゼロックス，富士通研究所，日立，ジャストシステム，神奈川大学（２チーム），KAIST（韓国），マンチェスタメトロポリタン大学，松下電器産業，学術情報センター，国立台湾大学，日本電気（２チーム），NTT，王立メルボルン工科大学，東京工科大学，東芝，豊橋技術大学，カリフォルニア大学バークレイ，図書館情報大学，メリーランド大学，徳島大学，東京大学，筑波大学，横浜国立大学，早稲田大学（英文名称アルファベット順，日本のグループは，海外との共同研究も含む）
参加グループは，以下の一つ以上のタスクを遂行した。
・随時検索タスク：新しい検索課題で蓄積されている文書を検索
・言語横断検索タスク：日本語の検索課題で英語の文書を検索
・用語抽出タスク：（a）文書から専門用語を抽出，（b）目的，方法などの役割を識別
ワークショップで使用したテストコレクション１（NTCIR-1）は，
（１）文書：約33万件。半数以上は日本語と英語の対
（２）検索課題：利用者の検索要求を一定の書式にしたがって自然言語の文で記述したもの。訓練用30件，評価用53件がある。
（３）正解文書リスト：各検索課題に適合する文書の（可能なかぎり）網羅的なリスト。
（４）言語学的分析：文書データの一部には，語構成要素レベルまで考慮した詳細な品詞タグを付与。用語抽出タスクで使用。
正解文書リストはプーリングによって作成した。提出されたすべての検索結果から検索課題ごとに上位一定数の文書を集めて正解文書候補のプールを作り，その中の文書を一つずつ人間の判定者が見て，適合性を判定した。異なる検索システムは異なる正解文書を検索することが知ら轤黷ﾄおり，複数の研究グループが参加する評価ワークショップはプーリングの最良の機会である。
NTCIR事務局では，正解判定を行うとともに，正解文書の網羅性，複数の判定者間の判定一貫性などの観点からテストコレクション自体の信頼性の検証を行った。
ワークショップでは，多様なアプローチの興味深い研究成果が発表された。評価結果と発表論文は会議録［1］をご参照いただきたい。
９月２−３日には，軽井沢の国際高等セミナーハウスにてポストモテムワークショップを開き，ドナ・ハーマン女史，マンキュウ・レオン博士，フレッド・ガイ博士（カリフォルニア大，ACM-SIGIR99大会委員長），岸田和明駿河大学助教授を中心に，NTCIRの利点欠点を徹底的に評価し，今後の計画を立てた。ここでは，今回のワークショップは初回にも関わらず大きな成果を生み出したことと，発表論文の質の高さが高く評価された。NTCIR-1を用いた研究成果は他の国際会議等でも発表され，NTCIR事務局も成果報告のため，多数の国際会議の招待講演等にお招きいただいた。
NTCIR-1は，参加者以外の研究者も研究目的での使用が可能である。NTCIRワークショップ2000/2001は，IREXと合同し，情報検索と言語横断検索の評価とともに，検索された文書からの回答の抽出，自動要約などより新しい課題にも挑戦する。
NTCIRワークショップは，参加者，データ提供学会，判定作業者などの多くの方々の多大なご理解とご協力，Donna Harman，MunKew Leong, Sung H. Myaeng, Stephan E. Robertson，Ellen Voorhees，Ross Wilkinsonの各氏の貴重な助言，Doug Oard, Fred Geyの国際的連携への尽力，そのほか多くの方の働きに支えられた。深く感謝申しあげます。
［1］NTCIR Workshop 1: Proceedings of the first NTCIR Workshop
on Research in Japanese Text Retrieval and Term Recognition,
Aug. 30-Sept.1, 1999, Tokyo, ISBN4-924600-77-6.
(http://www.rd.nacsis.ac.jp/~ntcadm/workshop/OnlineProceedings/)
会場風景
ドナ・ハーマン博士の基調講演