検索   |   バックナンバー   |   著者索引   |   タイトル索引   |   目次

Articles

spacer

D-Lib Magazine
2005年9月

11巻9号

ISSN 1082-9873

新しい学術コミュニケーション環境における被引用数の調査

 

Kathleen Bauer
ELI統合インターフェースライブラリアン
エール大学図書館 <kathleen.bauer@yale.edu>

Nisa Bakkalbasi
自然科学ライブラリアン
クライン自然科学図書館
エール大学 <nisa.bakkalbasi@yale.edu>


(原文: An Examination of Citation Counts in a New Scholarly Communication Environment, D-Lib Magazine, v. 11, no. 9 (September 2005)

Red Line

spacer

摘要

引用分析は、学術研究の追跡やインパクトの測定、テニュア取得や助成金採択の妥当性の検証に使用される重要なツールである。 査読雑誌文献を索引化しているWeb of Scienceは、引用を追跡するための主要な研究データベースであった。 プレプリント/ポストプリントサーバ、インターネットを介して入手できるテクニカルレポート、オープンアクセス電子ジャーナルなど、学術コミュニケーションの形態は急速に変化しており、Web of Scienceを使った従来の引用追跡ではこうした新しい状況にほとんど対応できない可能性がある。 被引用数を数えるための新しいツールが2つ登場している。ScopusとGoogle Scholarである。 本論文は、1985年と2000年に出版されたJournal of the American Society for Information Science and Technology (JASIST)掲載の論文について、Web of Science、Scopus、Google Scholarの3者が示す被引用数を比較する事例研究である。比較の統計的有意性については対応のあるt-検定を用いた。 1985年の論文については、統計的に検定することはできなかったが、Web of Scienceの示す被引用数が最大であった。 2000年に出版されたJASISTの論文については、Google Scholarの示す被引用数が、Web of ScienceとScopusに比べて統計的に有意に大きかった。 一方、Web of ScienceとScopusの間には有意な差はなかった。変化する学術コミュニティ環境におけるインパクト測定の意味について考察した。

1. はじめに

過去10年間に、学術コミュニケーションの形態は急速に変化してきた。プレプリント/ポストプリントサーバやオープンアクセスジャーナル、電子ジャーナルなど、研究を行い、成果を発表・配布する新しい手段を研究者は持つようになった(Borgman & Furner, 2002)。 学術コミュニケーションにおけるこれら新しい方法は学問分野により受容の程度が異なり、物理学では幅広く受け入れられているが、医学では抵抗が見られる(Eysenbach, 2000; Garson, 2004; King, 1999)。 研究成果を共有する新しい方法には、物理学、コンピュータ科学、数学、生物学における電子出版物のプレプリントサーバであるArXivや、経済学論文のデジタルリポジトリであるRePecなどがある。 急速に変化する環境にあって、より影響力のある論文を見つけたいと望む者は研究者が研究成果を発表・伝達する方法がどのように変わっていくかを注意深く観察するべきであろう。 インパクトを追跡・測定するために伝統的に使用されてきた1つの方法が引用分析である。本論文では、学術コミュニケーションの新しい方法を捉えるには引用分析の方法を変える必要があるか否かについて検討する。

引用分析は、著者が引用した参考文献の過去に遡る調査とその論文を引用する著者の未来に向けた調査により、研究者が論文の進展やインパクトについて時間を追って追跡することを可能にする。 引用分析は、Garfieldの仕事(Presley & Caraway, 1999)により有名になった。 Garfieldは論文の引用を記録する3つの索引を作成した。Science Citation Index、Social Science Citation Index、Humanities Indexである。 これら3つの冊子体資料はWeb of Scienceという1つのデータベースにまとめられ、強力な総合学術研究ツールとなった。 Web of Scienceは引用分析に基づいて、ある雑誌で過去2年間に発表された論文の平均被引用数を計算して、その雑誌のインパクトファクターとした(Garfield, 1972)。 インパクトファクターは、異論は多いがきわめて影響力の高い指標である(Seglen, 1997; Walter, Bloch, Hunt, & Fisher, 2003)。 Web of Scienceは、ある学問分野ではきわめて少数の生産性の高い雑誌が引用された全参考文献の2/3を提供していることを発見したBradfordの研究に基づいて作成されている(1953)。 Web of Scienceはきわめて重要な雑誌だけを対象として設計されているので、引用分析のほとんど全てを効率的な方法で行うことができる。 また、Web of Scienceは参考文献を英語で提供しているローマ字言語の雑誌に限定している(Garfield, 1972)。 これにより、Web of Scienceは英語の出版物に偏向するようになっている(Seglen, 1997)。

最近まで、Web of Scienceは全ての学問分野にわたって引用追跡ができる唯一のツールであった。 2004年末、Elsevierが自然科学と社会科学の雑誌論文を対象とし引用追跡の可能なScopusを発表した。 ScopusはWeb of Scienceより多くの雑誌を索引化し、オープンアクセスジャーナルや国際雑誌をより広く対象とした。 Scopusは、その優れたインターフェースが評論家から一般に評価されたが、学術雑誌の遡及的カバー率に欠け、人文科学はまったく対象としていない(Deis & Goodman, 2005; Jacso, 2004b; LaGuardia, 2005)。 Scopusは、Scirusコンポーネントによりインターネット資源の検索を提供しているが、検索結果は別に表示され、引用追跡の対象にもなっていない。

2004年11月、最も有名なインターネットサーチエンジンを開発したGoogle(Fallows, 2005)が、Google Scholarのベータ版を発表した。 これは、Googleクルーラを使って学術資料コンテンツを索引化し、被引用数を付加して検索結果集合における個々の論文のランキングを決めるサービスであり、自由に利用することができる。 Google Scholarは論文やその他の資料の被引用数と引用追跡を提供する。 Googleは、Google Scholarで索引化されている資料について明示しておらず、これが学術ツールとして使用する際の主な欠点となっている。 Google Scholarは、ElsevierとACSを除く「主要な」出版社は全て、資料をGoogle Scholarで利用できるよう協力していると強調している(Jacso, 2004a)。 また、他の雑誌がElesevierやACSの論文を引用している場合は、Google Scholarはこれらの論文への引用を収めている。 Google ScholarがWeb of ScienceやScopusと比較して卓越している点は、雑誌以外の資料を索引化していることである。 何が対象となっているかについてもGoogleは明示していないが、検索結果から、従来の出版社による電子ジャーナル論文の他に、 ArXivやRePecのプレプリントやポストプリント、会議録やテクニカルレポート、図書、学位論文が対象となっていることが明らかである。 これは、特にコミュニケーション手段や出版形態の急速な変化を経験してきた学問分野において、引用分析のための強力な新ツールになる可能性がある。

被引用数や雑誌のインパクトファクターの乱用や過大評価を主張する研究者もいるが、実際問題として、研究者はテニュアや助成金を獲得するために自身の研究が影響力を持っていることを示す際に被引用数を使用している(Debackere & Glanzel, 2004; Vincent & Ross, 2000)。 この予備的研究においては、引用が重要だと考えられていることの妥当性を評価することは控える。 むしろ、新しい技術に動機付けられ、これを使って開発された新しい引用追跡ツールが、ある種の学術研究に対してより完全な引用情報を提供するか否かを判断するために、さらに詳しく調査されるべきであることを強く主張する。 この目的を果すために、本研究では、雑誌 Journal of the American Society for Information Science and Technology (JASIST)の1985年(資料がオンラインで利用できるようになる前)と2000年(出版が電子フルテキストやその他のWebベースの文献まで拡張された後)の研究論文について、上で示した3つのツールにより得られる被引用数を比較する。 この研究にJASISTを選んだ理由は、この雑誌が主に新しい研究を出版していること、1つの学問分野(コンピュータ科学)に特化していること、1950年から出版されていること、学術協会であるアメリカ情報科学技術学会(American Society for Information Science and Technology)の会員であれば利用できることによる。

2. 方法

JASISTをデータセットの標本として選択した。その理由は、この雑誌が、引用されることが非常に多いことで知られている高い評価の雑誌だからである。 データセットを構築するために、基本的に2つの異なる時代の引用期間に相当する2000年と1985年に発表された論文の全リストを入手した。 生データは2000年の105論文、1985年の41論文から成る。研究論文の方がはるかに多く引用されると思われるので、論説、レター、訂正記事、人物紹介、書評は研究から除外した。 そして、2005年4月18日から22日の1週間をかけて、各研究論文の被引用数を3つのツール、Web of Science、Scopus、Google Scholarから抽出した。 Scopusには2000年の号がまったくなかったので、6件のデータが除外され、約6%の損失となった。ScopusとGoogle Scholarで1985年のデータが欠けていたので、14件(34%)の損失となった。3つのツールで被引用数が有意に異なるかを比較するために、対応のあるt-検定を採用した。1985年については多くのデータが除外されたので、統計的に意味のある分析ができなかった。 なお、全ての統計計算には統計用ソフトウェアパッケージSPSSを使用した。

3. 結果

表1に、2000年データについての3ツールそれぞれの被引用数と3ツール間の被引用数の差の記述統計を示した。 たとえば、Web of Science(WoS)においては論文が引用された回数は最小0回から最大52回の幅があり、平均が7.6回、標準偏差が8.3である。 さらに、Google Scholar(GS)はWoSより平均で4.5回引用が多いことが分かる。 表中のその他のカラムはScopus(Sco)とGS、およびその他のツール間の差についての同様な数字を示している。

表 1: 2000年の被引用数に関する記述統計(n=105)
  WoS Sco GS WoS-Sco WoS-GS Sco-GS
平均 7.6 7.6 12.1 0.3 -4.5 -3.9
標準偏差 8.3 9.0 12.7 1.9 7.8 6.7
最小値 0 0 0 -8 -39 -36
最大値 52 60 64 4 8 7

 

図1に被引用数の差の頻度分布を示した。 分布の形は、各組の差の頻度分布がおおよそ正規分布であり、対応のあるt-検定を使用するための重要な前提条件が満たされていることを示唆している。

図 1: 2000年の被引用数の差に関する幹葉図
WoS — Sco WoS — GS Sco — GS
頻度  幹葉 頻度  幹葉 頻度  幹葉
 
6   極端な値   (-4以下) 9   極端な値   (-14以下) 7   極端な値   (-14以下)
4 -3 0000 2 -13 00 1 -11 0
0 -2   2 -12 00 4 -10 0000
7 -2 0000000 0 -11   1 -9 0
0 -1   0 -10   2 -8 00
19 -1 0000000000000000000 4 -9 0000 3 -7 000
31 0 0000000000000000000000000000000    4 -8 0000 4 -6 0000
17 1 00000000000000000 5 -7 00000 8 -5 00000000
11 2 00000000000 2 -6 00 9 -4 000000000
0 2   5 -5 00000 9 -3 000000000
3 3 000 8 -4 00000000 6 -2 000000
1   極端な値   (4以上) 9 -3 000000000 19 -1 0000000000000000000
  11 -2 00000000000 12 0 000000000000
  18 -1 000000000000000000     5 1 00000
  13 0 0000000000000 4 2 0000
  6 1 000000 3 3 000
  1 2 0 0 4  
  2 3 00 1 5 0
  1 4 0 0 6  
  0 5   1 7 0
  1 6 0  
  2   極端な値   (7以上)  
 
幹の幅: 1
各葉: 1 件

 

表2に1985年についての被引用数の記述統計を示した。予想通り、WoSの平均被引用数が最も大きい。これは主に引用ツールとしてのWoSの成熟度によるものである。

表 2: 1985年の記述統計(n=27)
  WoS Sco GS WoS-Sco WoS-GS Sco-GS
平均 14.1 3.7 6.8 11.9 8.7 -2.9
標準偏差 16.4 4.6 9.9 10.9 9.6 6.9
最小値 0 0 0 -8 -2 -27
最大値 58 16 39 42 43 4

 

1985年についてのツール間の差に関する幹葉図は、散乱したものであるか、極度に非対称なものであるかのいずれかであり、対応のあるt-検定を使用するための重要な前提条件に違反するものであった。 したがって、統計的に有意な検定は行えなかった。

「2000年において、3つの引用ツールにより抽出された被引用数の間に差はない」という仮説を検定するために、各組について、有意水準α = 0.05で、対応のあるt-検定を行った。結果を表3に示す。

H0  :  μD = 0

HA  :  μD ≠ 0 、ここでμD は2つのツール間の差の平均である。

Table 3: 2000年に関する対応のあるt-検定
  相関係数 t df t0.05,df 95%信頼区間
WoS-Sco 0.98 -1.372 98 ± 1.661 [-0.667, 0.1222]
Sco-GS 0.85 -5.824 98 ± 1.661 [-5.268, -2.590]
WoS-GS 0.80 -5.980 105 ± 1.645 [-6.049, -3.036]

 

2000年におけるWoSとScoの平均被引用数の差については帰無仮説を有意水準5%で受容し、有意な差はないと判断する。一方、2000年におけるWoSとGS、ScoとGSの平均被引用数の差については帰無仮説を棄却し、有意な差があると判断する。

このJASISTという1誌については、Web of Scienceが最も古い資料をカバーしている。この雑誌で2000年に発表された論文について、Web of ScienceとScopusが与えた平均被引用数に統計的に優位な差は認められない。一方、2000年に発表された論文について、Google ScholarはWeb of ScienceあるいはScopusに比べて統計的に有意に大きな平均被引用数を与えている。

本研究では論文の被引用数に焦点を合わせているが、被引用数が隠蔽する可能性のある複雑な問題を無視することはできない。 2000年にAllenがJASISTに発表した論文「Individual differences and the conundrums of user-centered design: Two experiments」を取り上げて検討する。 この論文について、Google Scholar、Web of Science、Scopusはいずれも11件の引用があったことを示している。 しかし、詳しく調べて見ると、これら11の引用元が同じでないことが分かる。 そのツールだけに見られる引用元が、Web of Scienceには1件、Scopusには1件、Google Scholarには4件存在する。 したがって、3つのツールから得られるこの論文の引用元の上位集合は、実際は16件であり、11件ではない。3ツールで共通の引用元は全て伝統的な雑誌論文である。 Web of Scienceを除く、Google ScholarとScopusはオープンアクセスジャーナルであるBMC Medical Informatics and Decision Makingの論文を見つけている。 Google Scholarはさらに、大学のWebサイトにあるプレプリント「Modeles et facteurs humains en IHM, application a la realite virtuelle」と会議録Proceedings of the 3rd international conference on computer graphics, virtual reality, visualisation and interaction in Africaから「Impact of large displays on virtual reality task performance」を見つけている。 この結果は、Google Scholarが伝統的な出版者の電子論文に加えて、テクニカルレポートや学位論文、会議録、プレプリントおよびポストプリントなど様々な種類の資料からユニークな引用元を見つけていることを反映しており、他のケースでも見られると思われる。

本研究で調査した主要な総合学術ツール以外にも引用追跡を提供しているデータベースやデジタルライブラリが存在するので、こうした分野の研究者は、Web of Science、Google Scholar、Scopusに加えて、これらのツールも検討する必要があるかもしれない。追加すべきツールは、CINAHL(看護学)、PsycINFO(心理学と精神医学)、Academic Search Premier(学問一般)などの、より対象を絞ったデータベースである。これらのツールの有用性については調査がすでに始まっている。Abt(2004)は、NASA Astrophysics Data Systemが、主として会議録を対象に加えることにより、Web of Scienceより15%大きな被引用数を示していることを報告している。

4. 結論と今後の研究

JASISTの古い資料(1985年のデータセットが代理)については、利用できるデータが少なかったので統計的に確認することはできなかったが、Web of Scienceが最も良くカバーしていると思われる。 新しい資料(2000年のデータセットが代理)については、Google Scholarの示す被引用数がWeb of ScienceとScopusのいずれより大きかった。 一方、Web of ScienceとScopusの示す被引用数の間には統計的に有意な差は見られなかった。 Web of Science、Scopus、Google Scholarで行ったアドホックな追加調査により他の出版物や学問分野の論文においてもこの結果が支持された。 ただし、この結論を断定的に述べるためには、さらに厳密な研究が必要である。 この予備的調査でより大きな被引用数が認められたことから、特に比較的新しい論文や著者、学問分野を調査するには、研究者はWeb of ScienceやScopusだけでなくGoogle Scholarも利用することを推奨する。 Google Scholarの検索では、Web of ScienceやScopusでカバーされている伝統的な雑誌論文だけでなく、Google Scholar独自の資料も発見できるだろう。 ただし、この独自の資料の中には学問的価値に疑問の残るものもある。 Google Scholarの利用は、非伝統的な出版形態が広く受け入れられている物理学のような学問分野で最も役立つものであることが証明されるだろう。 しかしながら、どの資料が索引化されているのか、どの程度索引が更新されているのかについてGoogle Scholarが完全に説明するまでは、Web of ScienceやScopusのような真の学術ツールであるとGoogle Scholarを考えることはできないことを全ての研究者は注意することが重要である。 対象となる資料の理解は学術資料の検索結果の正当性の中核を成すからである。

今後の研究において、異なる学問分野の複数の雑誌についての多年にわたる論文に対象を拡げることにより、古い資料で見られたデータ損失による制限を解決することを提案する。 より大きなデータセットとより包括的なアプローチにより、より一般化可能な結果を提示することが可能となり、また、被引用論文数の差が他の分野ではより明確になるか否かを示すことができるだろう。 さらに、被引用数提供サービスの利用者に、プレプリントやポストプリントサーバ、学位論文、会議録、オープンアクセスジャーナルなどの学術コミュニケーションにおける新しい形態の効果について統計的分析に基づいた洞察を提供することができるだろう。 おそらく、論文や著者の被引用数を調べる際に、これ1つで十分だと考えられるツールはもはや存在しないだろう。 Web of Scienceは最も広範囲な遡及的カバー率を提供しているが、ある学問分野ではその分野に特化したデータベースが最高の引用カバー率を提供しているかもしれない。また、さらに別の分野では、Google Scholarが不可欠なツールであるかもしれない。 技術の発展により学術コミュニケーションの形態が変化し、それに伴い引用追跡を提供するツールが増加しているという状況において、特定の主題、あるいは年代について、どのツールが最高のパフォーマンスを発揮するかを決定するために厳密な研究を行うことが不可欠である。

参考文献

Abt, H. A. (2004). A comparison of the citation counts in the Science Citation Index and the NASA Astronomical Data System. In A. Heck (Ed.), Organizations and Strategies in Astronomy (Vol. 6). Dordrecht: Kluwer Academic Publishers.

Borgman, C. L., & Furner, J. (2002). Scholarly communication and bibliometrics. Annual Review of Information Science and Technology, 36, 3-72.

Bradford, S. C. (1953). Documentation (2nd ed.). London,: C. Lockwood.

Debackere, K., & Glanzel, W. (2004). Using a bibliometric approach to support research policy making: The case of the Flemish BOF-key. Scientometrics, 59(2), 253-276, <doi:10.1023/B%3ASCIE.0000018532.70146.02>.

Deis, L. F., & Goodman, D. (2005). Web of Science (2004 version) and Scopus. The Charleston Advisor, 6(3), 5-21. <http://www.charlestonco.com/comp.cfm?id=43>.

Eysenbach, G. (2000). The impact of preprint servers and electronic publishing on biomedical research. Current Opinion in Immunology, 12(5), 499-503. <doi:10.1016/S0952-7915(00)00127-8>.

Fallows, D. (2005). Search engine users. Washington, D.C.: Pew Internet & American Life Project. <http://www.pewinternet.org/pdfs/PIP_Searchengine_users.pdf>.

Garfield, E. (1972). Citation Analysis as a Tool in Journal Evaluation. Science, 178(4060), 471-479.

Garson, L. R. (2004). Communicating original research in chemistry and related sciences. Accounts of Chemical Research, 37(3), 141-148. <doi:10.1021/ar0300017>.

Jacso, P. (2004a, December). Google Scholar. Retrieved March 15, 2005, from <http://www.galegroup.com/reference/archive/200412/googlescholar.html>.

Jacso, P. (2004b, September). Scopus. Retrieved March 15, 2005, from <http://www.galegroup.com/reference/archive/200409/scopus.html>.

King, R. M., Geoffrey. (1999). Scholarly communication and the continuum of electronic publishing. Journal of the American Society for Information Science, 50(10), 890-906.

LaGuardia, C. (2005). Scopus vs. Web of Science. Library Journal (1976), 130(1), 40, 42.

Presley, R. L., & Caraway, B. L. (1999). An Interview with Eugene Garfield. Serials Review, 25(3), 67-80.

Seglen, P. O. (1997). Why the impact factor of journals should not be used for evaluating research. BMJ, 314(7079), 498-502. <http://bmj.bmjjournals.com/cgi/content/full/314/7079/497>.

Vincent, A., & Ross, D. (2000). On Evaluation Of Faculty Research Impact Of Citation Analysis. Journal of Applied Business Research, 16(2), 1-15.

Walter, G., Bloch, S., Hunt, G., & Fisher, K. (2003). Counting on citations: a flawed way to measure quality. Medical Journal of Australia, 178(6), 280-281.

(参考文献におけるPeter Jacsoのスペルを全て修正した 9/16/05)

Copyright © 2005 Kathleen Bauer and Nisa Bakkalbasi
spacer
spacer

頁先頭 | 目次
検索 | 著者索引 | タイトル索引 | バックナンバー
前の論文 | 次の論文
D-Libホームページ | 編集者へのメール

spacer
spacer

D-Lib Magazine Access Terms and Conditions

doi:10.1045/september2005-bauer