イベント / EVENT
平成22年度 第6回 Q&A
第6回 2010年11月9日(火)
未来につながる学術動向をつかむには?
研究活動を研究する
孫 媛(国立情報学研究所 情報社会相関研究系 准教授)
講演当日に頂いたご質問への回答(全27件)
※回答が可能な質問のみ掲載しています。
名寄せの引き合いとして年金の例がありましたが、論文でも同じ問題があることは驚きました。
データベースの作り方として、論文にIDを振るようなやり方もあると思いますが、そのような動きはないのでしょうか。
論文にIDを付与するアプローチとして、IDF(the International DOI Foundation)によって運営管理されているDOI(Digital Object Identifier)がよく知られています。DOIの登録機関(Registration Agency)は世界中に存在しており、欧米の出版社連合PILA (Publishers International Linking Association, Inc.) によるCrossRefが最も有名です。CrossRefは2000年に米国で設立された非営利会員組織です。世界で付与されたDOIは2010年9月には4300万件を超えています。DOIは論文単位にIDを振るだけでなく、ジャーナルタイトルや図や表にも付与することができます。DOIによってWeb上の電子ジャーナル論文の引用文献リストから直接リンクをたどることによって該当論文にアクセスできるサービスが可能となっています。
論文背番号制を導入すればどうでしょうか?(データベースの負荷減や著者の同定のため)
著者を同定する方法は、学術出版者が自ら販売する文献サービスの中で精力的に考案してきました。同定のアプローチとして、機械処理によって著者名を名寄せする方法と著者にIDを付与する方法の2つがあります。機械処理による名寄せシステムとして、Elsevier社のScopusではScopus Author Identifer、Thomson Reuters社のWeb of ScienceではDistinct Author Identification Systemを例として挙げることができます。一方で、機械処理による名寄せ精度の困難さから、著者にIDを付与するアプローチが近年注目されるようになり、欧米の主要な出版者を中心としたORCID(Open Researcher and Contributor ID), Inc.という非営利組織が2010年に米国デラウェアに設立されました。ORCIDは誕生したばかりの組織であり、持続可能なビジネスモデルとともに本格運用可能なサービスを考案している最中です。Thomson Reutersがこれまで運営してきた著者の業績ショーケースであるResearcherIDをサービス基盤としており、現在もそのプロトタイプシステムを構築しており本格稼働を目指しています。
ARWUは、科学技術よりの評価、他は科学以外も評価指標に入っているので、日本の大学の評価が低いのは人文系研究や教育への力点が少ないということの結果と見ることができるのではないか。
また、引用論文は英文が有利なので英語圏が上位に来るのは当然ではないのか。中国の場合は、人口の層が厚いので上位に来やすいのではないのか。
存在、公表済論分数を分母として引用数を分子に持ってくると、かなりランクの変動があるのではないのか。
論文数だけではなく、論文の引用度、すなわち、1論文あたりの引用数を用いられている。ただ、それでも、分野によって引用の習慣や論文の寿命といった問題が存在するため、分野間での基準化などをしないまま単純な比較ができません。いままで各ランキングで用いられている評価指標はそのような研究分野間の基準化はされていません。そういう意味では各大学の評価結果は学部の構成によって影響を受けています。また、論文の引用数はあくまでも利用するデータベース中の収録雑誌の掲載論文にどれだけ引用されたかをカウントしているだけですので、当然和文雑誌(収録対象雑誌以外の英文誌も)の論文はカウントの対象外になります。
ランキング対象になる研究論文の分野はどのようにして選ばれるのでしょうか?
経済学や哲学も対象になるのでしょうか?
マルクスやカントも対象になりますか?
各々のランキングは使用する論文データベースの収録雑誌によって対象が決まります。例えば、トムソン・ロイター社のWeb of Scienceは人文社会系よりも理工系の雑誌数が多い。2009年版JCRでは、Social Science分野は2242誌、Science分野は7347誌あります。日本の雑誌を例に挙げれば、Science分野は200誌が収録されており、Social Science分野では8誌しか抄録されていません。
引用数で分析すると良い研究を見つけるのに、時間がかかると思うが、最新の論文から重要なものを探索するにはどうすればいいか?
最新の論文をどう評価できるかはなかなか難しいところです。ビブリオメトリックス指標に基づく評価方法は今後の課題です。
被引用数で論文を評価するには、出版後相当の年数を経なければならないのではないか。どのくらいの年数が基準として考えられている?
論文の寿命は分野によって異なり、個々の論文について統一の基準年数はありません。
現在の査読プロセスはどうしても論文等が出るまでに時間がかかる様に思うが、いっそ全文検索であらゆる研究者が自由にアクセスし、論文誌等はその時々のCitation RankingのTOP10(その論文誌の分野の)を出版/公開する、という形も考えられないか?
従来の学術論文や雑誌の形態では、確かに論文は出るまでに時間がかかっている問題があります。近年、オープンアクセスの雑誌という形態も出てきて、論文に対してウェブでのアクセス件数やダウンロード件数が評価指標にもなっています。今後そのような新しい評価指標が注目されると思います。
配布された先生のプロフィールの中の「研究概要」の中に「研究の生産性に影響を及ぼす要因の解明に努めています」とありますが、最近注目されている「要因」がありましたら是非ご教示してください。
(できれば具体的に①良い方に影響を及ぼす要因と②その反対に影響を及ぼす要因について伺いたく思います)
研究の生産性に影響を及ぼす要因は非常に複雑で、多くの研究者はさまざまな角度・手法から分析を行っています。例えば、マクロ的な視点から分析を行う場合,学術論文や特許などを研究の成果(output)として、研究者の質・量(研究チーム構成・研究ネットワーク等も含む)、研究資金(基盤研究費・競争的資金等)、研究環境(研究サポート体制・研究設備・教育も含む研究以外の業務に割く時間・労力等)といった要因がインプット(input)変数として考えられます。インプット・アウトプット変数に対してそれぞれ計量的なデータを収集し、統計的な手法による因果モデル解析を行っております。
「この論文があったからこそ、本研究が成り立つ。」という極めて重要なキー論文の引用もあれば。単に形式的に過去の実績を紹介する程度の引用まで、同じ引用でも文脈により重みが異なると思われます。
このような重み付けを論文のコンテクストから弁別するような技術は研究されているのでしょうか?
確かに、一口引用といっても、批判する意味での引用も含めて、いろいろな引用があり得ます。しかし、現在は、引用したという行為は著者は該当論文において影響を受けているということを受けとめ、1引用は1引用としてカウントし、文脈から著者の引用の重みを判断するといった研究はされていないと思います。最近、文脈から確率モデルに基づく著者の貢献度を弁別するような研究は行われているようです。また、より影響度の高い雑誌に引用される雑誌は良い雑誌という雑誌引用指標をまねて、論文も引用度の高い論文(より重要な論文)に引用された方が高い重みをつけるべきという発想からの指標開発研究があるようです。
論文と特許の関係について。
論文の(被)引用数と公開特許数について、どのような関連があると言えますか。
近年、産学連携の重要性を受け、特許の計量学的分析は、注目を浴びています。特許情報の計量的分析に関してはいまだ標準的な手法は確立されていないものの、特許引用は科学技術活動の指標として利用可能と考えられます。学術論文を科学基礎研究、特許を技術発展の成果と見なし、特許情報に記載された参考文献リストに引用される学術文献に注目して、論文と特許の関係を示し、科学と技術発展の関係を分析する方法があります。ただ、特許における引用は、学術文献とは比較にならないほど統制が取れていないため、その解釈を行う際にはさまざまな注意と留保が必要です。
研究者個人を評価する指標や手法はビブリオメトリックス以外にどのようなものがあるのでしょうか?
論文や特許等に関するビブリオメトリックス指標以外には、同業者評価(peer review)(学術賞、作品等を含む)の手法があります。
THES-QS→THE2010で"大きく順位を落とした"件は具体的に"どの項目"が弱くて落としたのか?
例えば、「教員収入」が要因なら、"研究力"の問題ではないが「被引用数」が主な要因なら「研究力」の問題になり、対策が異なる?
「被引用数」が挙げられます。THES-QSからTHE2010になったときに、被引用数指標の重みが高くなったことが順位を大きく下げた大きな要因と考えられます。
「引用」と「盗用」の違いは、どこ?
簡単にいえば、両者の大きな違いは、「引用」は出典を明記した上、他人の研究を参照・言及するもので、「盗用」は出典を明示せず他人の研究をあたかも自分のもののように使ってしまうものです。なお、引用に関して著作権法第32条で定められています。
大学ランキングは具体的に誰(または組織)が何の為に使っているのでしょうか?
日本の場合。他国の場合。
統計はわかりません。ただし、個人的には、大学管理者の政策策定や学生の大学選び等、利用者が工夫さえすればいろいろと利用できると思います。
名寄せなどは問題にならない方向の話という意味。
人や機関の評価よりも
・分野全体のoverviewを見る上で、どのペーパーを見れば広く押さえられるか?
・多分野にまたがる応用が広そうなペーパーはどれか?
ということを知りたいことが多いが、そのようなものを見せる(可視化等)方向の活動はあるか?
引用分析によって、論文間の関係を可視化して、コア論文や他分野にわたってインパクトの高い論文を見つけることができます。
大学の評価は、教員・経営者・論文数・企業側からだけですか?
最近では、学生側からの満足度評価が問われているようですが、学生側からの評価は、国際社会ではあまり意味がないのですか?
大学の評価は、評価の目的によって用いられる指標も異なります。例えば、学生の学校選びのためと考えたいならば、当然学生の満足度も重要な評価指標になります。実際に、例えば、朝日新聞が毎年発行している「大学ランキング」冊子には、学生の満足度ランキングは一指標として結果は発表されています。ただ、満足度評価の基準や結果の信頼性は大きな問題であり、大学評価の国際比較を行う場合、指標として用いることは難しいと考えます。
「研究者間での評価(ピアエスティーム)」とは具体的に教えてください。
同業者評価(ピアレビュー)の具体例として、学術雑誌に掲載するための論文の査読や、研究費申請時の審査が挙げられます。
孫先生としては、日本の大学(東京大学)は何位でしょうか?
私はビブリオメトリックス研究者ですから、基本的にはデータに基づいて物事を判断しています。さまざまなランキングが存在している中、ある意味ではそれぞれ実態を現わしていると思います。しかし、それぞれで用いている指標、原データ等を見ながら結果を解釈する必要があります。
様々な評価手法がありますが、その結果の妥当性はどのように評価されていますか?
いくつか例を教えてください。
あらゆる測定や評価について、測定しようとしているものはどれくらい的確に測定できているかという妥当性問題は常について回るものです。通常、ある評価について、その評価に外的基準がある場合は、外的基準の結果と照らし合わせて、相関係数をもって基準関連妥当性検証を行うことができます。それに対して、外的基準が存在しない場合、評価項目に測りたいものを含んでいるかといった内容的妥当性などの検証を行うことになります。大学評価にあたり考慮すべき要素は非常に多いので、妥当性の保証や検証はなかなか難しい。ある種の単純化は避けられません。要するに、利用者に納得されるものでなければ意味をなさないと考えるのも一つの基準になるでしょう。また、よく用いられる既存の指標による結果との関連性も、一つのチェックポイントになりうるでしょう。例えば、近年webometrics分野において、ウェブ指標を開発し大学評価を行う場合、これまでのビブリオメトリックス指標や伝統的なピア・レビューによる結果を用いて妥当性検証を行っています。
ビブリオメトリックスの研究が進むとノーベル賞の予測精度は向上するのかどうか?
予測精度向上に必要な要素は何か?
ビブリオメトリックス研究が進むと、より適切な評価方法が開発されていくでしょう。ただ、優れた研究者を特定できていても、そのすべてはノーベル賞を受賞するわけではありません。
基礎研究と応用研究は異なる方法、観点から評価されるべきなのでしょうか?
そう思います。いまの評価法や用いる元データは基礎研究の部分が多いですが、応用研究の評価法等については、さらなる研究が必要です。
トムソン・ロイター引用栄誉賞以外の人で(該当分野の中で)、ノーベル賞を受賞した人が何人いるのでしょうか。
ノーベル財団のホームページに毎年の受賞者を公開しています。カウントしていただくと各分野の受賞者数がわかります。そこからトムソン・ロイター引用栄誉賞受賞者数を引いていただくと答えになります。
先生がBibliometricsに興味を持ったのはなぜですか?
この学問の面白さは何?
始めたきっかけは、現在の職場に就職したことですね。もともと統計学を使って教育・心理測定をやっていたこともあり、対象は人から論文の書誌情報に変わっただけ、共通の部分は意外と多いです。
今まで解析したテーマで、一番面白かったものは何ですか?
引用関係を用いた解析や、最近では論文の共著関係に基づいた産官学連携のTriple Helixモデル研究に力を注いています。
様々な引用索引データベースで引用される論文の候補となるには、やはり英語の運用能力が問われているのでしょうか?もしそうとすれば、どのレベルの能力が必要なのでしょうか?
英検/TOEFL/TOEIC/国連英検
英語論文が評価対象になることが多いのが確かですが、英語力に取られず、研究者は最終的には研究の質がもっとも重要で、重視すべきなところと考えます。
ご専門「書誌計量学」の目的、解説、手法等についてお願いします(もう少し詳しく)
疑問として
①最先端の研究成果の価値は既存のパラダイムで評価できないことがある。
②論文の数や量より、内容にこそ価値があるのではないでしょうか?
③評価するパラメータや人が研究者より高い視点で、客観的に評価できる能力があるとは限らない。
...等々の疑問があります。
①その通りです。
②査読論文は同業者評価を通っていることを考えると、ある程度内容的な保証が担保されていると言えます。
③その通りです。だから、同業者評価に加え、客観的なビブリオメトリックス指標も用いることが必要です。「書誌計量学」についてご興味を持っていただいてありがとうございます。詳しい説明はスライド67に挙げてある入門書や解説論文をお読みください。
論文の引用件数の分布はべき条分布で、莫大に引用される文献がごく一部存在する。
そのようなごく一部の論文ではなく、中庸、中レベルの、一般的な学術論文を(ほとんど引用されない)の比較評価する手法はありますか?
これは、いまの評価指標ではなかなか難しいです。一つとしては、論文の掲載雑誌のレベルで比較されることがありますが、適切かどうかは議論が割れています。