大学の研究開発力の実態調査:21世紀COEの研究評価」


21世紀COEプログラムの研究成果促進効果の調査終了

2012年1月17日

京都大学大学院経済学研究科 依田高典研究室

京都大学大学院経済学研究科 依田研究室は、エルゼビア社の学術ナビゲーションサービスであるScopus(スコーパス)を用いて、文部科学省の大型研究資金助成事業のさきがけである21世紀COEプログラムの研究成果促進効果の調査を行い、全11分野のうち、学際・複合・新領域・革新的な学術分野を除く、8分野について分析を終了しました。

内閣府行政刷新会議ワーキンググループによる「事業仕分け」第二弾が2010年春に開催され、科学技術予算の投資効果に対する国民の注目が集まると同時に、研究者側の説明意識が高まっています。さらに、文部科学省は、客観的根拠に基づく政策形成の実現に向け、科学技術イノベーション政策における『政策のための科学』推進事業を2011年度より開始しました。今後も研究活動の可視化および公正な評価に有効なツールや、評価指標に関する議論が続くと思われます。

依田研究室の分析は21世紀COEプログラムの採択によって、研究者一人あたり年間論文数がどれだけ伸びたか(研究の量的指標)、論文一本あたりの被引用数がどれだけ伸びたか(研究の質的指標)を計量経済学的手法を用いて統計的に検証しました。  全8分野のうち、論文数、被引用数のそれぞれで統計的に有意な効果があったのは以下の分野です。

【論文数で研究成果促進効果が観察された分野】
生命科学分野 伸び率 23%
人文科学分野 伸び率 32%
医学系分野 伸び率 25%
機械・土木・建築・その他工学 伸び率 38%

【被引用数で研究成果促進効果が観察された分野】
生命科学分野 伸び率 16%
情報・電気・電子分野 伸び率 25%
医学系分野 伸び率 14%

このように全8分野のうち5分野で、量または質の観点から、21世紀COEプログラムが研究成果の促進をもたらしたことが具体的に検証されました。

生命科学や医学のように、論文数、被引用数の両方で研究成果の促進が観察された分野がある一方で、研究促進効果が観察されなかった分野もあります。しかしながら、論文の出版、被引用には分野毎に研究スタイルの相違があり、今後の研究成果の評価においては、こうした研究スタイルの相違にも考慮する必要があります。

また、このように論文、被引用数による計量的な評価結果と、21世紀COEプログラム委員会の評価結果の間では傾向の相違があり、今後は審査委員会方式の評価と客観的なエビデンスベースの評価の補完的役割分担を検討吟味することも重要です。
さらに、今後は、学術論文間の被引用だけではなく、学術論文が特許にどのように引用されたかについても調査研究を進め、学術研究がどのように産業界でも応用されていくのかというサイエンス・リンケージの解明も重要になります。

参考資料
Ida, T. and N. Fukuzawa (2013) "Effects of Large-Scale Research Funding Programs: A Japanese Case Study," Scientometrics vol. 94.3: 1253-1273.
依田高典・福澤尚美「21世紀COEプログラムの研究促進効果の実証分析
依田高典・福澤尚美「21世紀COEプログラム論文数・被引用数の分野ごとの分布状況



2010年11月21日

京都大学大学院経済学研究科 依田高典研究室

1. 調査の目的

この度、京都大学大学院経済学研究科(依田高典教授)ならびに学術出版・ エルゼビア・ジャパン株式会社では、「大学の研究開発力の実態調査」とい うテーマで、21世紀COEプログラムの研究成果促進効果を調査しています。

調査研究のために、21世紀COEプログラムに携わった6,000名の研究者の皆さま、全ての学術論文データベースを作成しているところです。その精度を向上するにあたり、学術データベースScopusで検索した論文リストが、先生の論文として間違いがないかご確認いただきたく、ご連絡差し上げています。

(1) 問題意識

私自身、21世紀COEに携わった現場の人間として、問題意識は次のようなものです。21世紀COEプログラム以降、文部科学省は次から次へと大型競争的研究資金プログラムを実施しています。しかし、個別詳細な研究成果の調査は行われておらず、政策効果に関する事後調査も定量的には実施されていません。その結果、例えば、「事業仕分け」などで、政策効果の不十分さが外部から批判された場合、現状では文部科学省は説明責任を果たすことができず、引いては文部科学予算の削減という事態を招きかねません。実際、その懸念の一端が、今回、グローバルCOEに関しては起きました。そこで、我が研究室としては、現在できる範囲で最善を尽くして、定量的に21世紀COEの政策効果測定を学術的に精緻な手法を用いて実施したいと考えています。幸いなことに、現行の予備調査では、分野によりますが、平均して、少なくとも「数十%程度の総被引用数の増加」という大きな政策効果が統計的に得られています。

ご返信頂けるかどうかは先生方のご意向に全面的に依存しています。調査結果は、京都大学経済学研究科依田研究室の経済学上の学術論文として学術雑誌上にて発表したいと考えております。しかしながら、調査結果は、単なる学術的意義を越えて、社会的におもしろおかしく取り上げられる可能性がございますから、可能な限り、誤解のないように慎重に取り扱いたいと思います。正直に申し上げて、社会的反応に関しては、我々がコントロールできる部分ではなく、大変悩ましいところです。

(2) 使用するデータベース

現行の学術データベースには、トムソン社のWeb of Scienceとエルゼビア社のScopusが代表的ですが、それぞれ慎重に比較検討しましたが、両社ともに著者の名寄せなどで精度が不完全だと言わざるを得ません。特に、トムソン社のWeb of Scienceは従来、フルネーム検索ができず、著者IDを振っていなかったために、個人研究者別のデータベースとしては使えません。そこで、エルゼビア社のScopusを利用して、フルネーム検索、機関検索を用いて、可能な限り、精度を高めたのがリストAです。

しかしながら、本来、Scopusに所収されている論文にもかかわらず、機関を移籍されたり、論文著者名・機関名の表記の揺らぎのために、脱落している論文があります。そういった点を踏まえて、著者確認をお願いし、データベース構築の上で万全を期したいというのが、今回の依頼の趣旨です。エルゼビア社も、我々の調査の趣旨をご理解下さり、著者確認結果を自社データベースの改善に役立てる方針です。ただし、それらの改善されたデータベースを京都大学が無償公開することは、エルゼビア社との契約上許されていません。

このような作業をお願いされた先生の皆様方には大変不愉快な思いをさせる可能性があることを重々承知しています。その点、深くお詫び申し上げます。また、返信されない方も多数いらっしゃると思います。その場合、改めて、エルゼビア社から連絡して頂くなど、最善を尽くしますが、あくまで回答は任意ですから、我々の力の及ばないところは出てきます。自分の論文リストを利用して欲しくないという先生につきましては、強いてその情報を用いないで、研究を進めようと思います。

最後に、個人情報の取り扱いについてご説明します。論文リスト・引用情報は、エルゼビア社SCOPUSをそのまま用いており、それらの出力に対して、先生方に添削を頂いております。また、添削結果はエルゼビア社に環流して、SCOPUSデータがより正確になるようにエルゼビア社を指導しております。したがって、京都大学と研究者のやりとりの間で、SCOPUSが出力する以外の個人情報は、先生方が公開されているメイルアドレスを除けば取り扱いしませんので、京都大学が秘匿すべき個人情報は存在しないと考えることもできます。しかしながら、今回の研究の目的は、(1)分野全体、(2)拠点別ごとの政策効果の測定ですので、個々の研究者別には政策効果を測定しません。また、我々のデータが、我々以外の研究者に流用されることはないように留意します(非公開)。

(3) 調査の限界と留意点

事前に、様々な分野の先生から、様々な意見を頂いています。東京大学文学研究科のさる高名な先生からは、人文では国際ジャーナルに論文を発表する習慣が根付いていないから、論文数と被引用数で評価して欲しくないという指摘を受けています。京都大学iCeMSのさる高名な先生からは、高被引用論文を発表するのは彼らにとっては当たり前であり、むしろ引用がなかなかつかない新領域の開拓こそ使命で、それを測定してほしいと注文を頂いています。現状では、なかなか両方の注文にもこたえられません。しかし、不完全ながらも、我々のアプローチが世に出て、様々な肯定否定の意見をもらうこと自体は、研究成果の測定とはなんだろうかということを考える契機にもなるのではないかという期待も持っています。

そもそもCOEは研究プログラムなのか、教育プログラムなのか、判然としていません。しかし、国際的な研究拠点の構築を目指す以上は、最終的には拠点にかかわったメンバーの研究成果の量と質で政策効果を計ることの意義はあると考えます。また、個別研究者に対する支援ではないので、関連研究者の研究成果の総体としての、拠点全体の成果の量と質が測定対象になります。

今回は、COEを受けた研究者とほぼ同じ環境にいる思われる、しかしCOEを受けていない研究者をランダムに抽出してコントロール・グループとし、それぞれのプログラム前後の成果の差分を定量的に測定し、さらにそれらの差分をとるという「差の差」を計量経済学的に推定することによって、プログラムのネットの政策効果を同定しようとしています。

しかしながら、トリートメント・グループとコントロール・グループの完全なマッチングを行うには、本来、各先生方がどれだけの研究費を獲得しているかという個別要因をコントロールする必要があります。近年、KAKENなど、研究費情報データベースが充実してきていますから、そちらもコントロール変数として利用できればと思います。こちらにつきましては、作業量が膨大になることから、今後の課題でございます。

最後に、どの程度までデータベースの精度を上げることができるかどうかに関して、ご説明いたします。京都大学内で既に実施した各研究者の論文リストとSCOPUSデータベースの名寄せをした結果、最大限の精度は90%程度であろうという予備調査結果を得ています。つまり、どう頑張ろうと、著者確認頂けないデータベースに関しては10%程度の誤差は残ります。計量経済学の世界では、こうした観測誤差は誤差項を仮定することによってある程度処理することが可能ですが、10%の誤差が故に政策効果の分析を行わず放置しておくか、90%の精度があるならできる範囲で政策効果の分析を行った方が良いのかは、判断の分かれるところだと思います。

私は計量経済学者として、後者の立場に則り、日本の文部科学行政の政策評価をやれることろまでやってみようと思います。あくまで学術的関心から調査しているものですから、我々の学術調査の内在的に持つ限界点、留意点は必ず学術論文内で明記するようにします。



2. 調査の結果

調査が終わり次第、順次、公表します。

調査方法の概要

平成14年度
生命科学
化学・材料科学
情報・電気・電子
人文科学
学際・複合・新領域 (学際的なため、評価実施せず)

平成15年度

医学系
数学・物理学・地球科学
機械・土木・建築・その他工学
社会科学
学際・複合・新領域 (学際的なため、評価実施せず)

平成16年度
革新的な学術分野 (学際的なため、評価実施せず)



3. 参考資料

2010.6.2 日本経済新聞朝刊・経済教室 「科学研究:定量的な評価を:専門家の審査と両輪」
2010.6.2 Nihon Keizai Shimbun (Japan Economy Newspaper) 「Scientific Research Must Receive Quantitative Evaluations, Complemented by Qualitative Evaluations by Experts

2010.11.24「朝日新聞・世界大学ランキング(完全版)
2011.10.13「U.S.News 「Best Graduate School」研究者評価 に基づいた米国研究大学ランキング
2012.2.25 提言「成長戦略への一提案:ポスドク人材を活用した研究開発力強化



前項へ戻る