购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

1.2 关于科学计量学相关问题的思考

科学计量学是一门以科学自身为研究对象,进行定量研究的学科。这门学科借助科学计量学指标,运用数学方法计量科学研究的成果、描述科学体系的结构、分析科学系统的内在运行机制,揭示科学发展的时空特征,也探讨在整个社会大背景之下科学活动的定量规律性。自20世纪60年代初创立至今,科学计量学已被广泛应用于科研主体实力考察、学术期刊质量评估、科技发展规划制订以及科学基金项目管理等许多方面 [2] 。近年来,人们认为,科学计量学是由基于引文分析的领域可视化研究领域派生出来的新学科,采用文献计量学手段分析科学文献,对科技交流进行数量级的研究 [3] 。通过特殊的方法,科学计量学已经广泛地应用于评价科学进步与科学家行为的研究中。经过数十年的发展,科学计量学以大规模的学术数据库为基础,利用文献、专利、基金等信息作为重要的工具描绘大量学科领域的发展和当今的科学技术,已经取得了大量的成就 [4]

科学计量学的发展,使科研绩效的评估向着更加科学化的进程迈进。在这方面,集中度定律、洛特卡定律、布拉德福定律、齐普夫定律、普赖斯定律、引文定律、文献老化定律、文献增长与冗余定律等文献计量学理论,为科学计量学在科研绩效评估中的应用提供了一个广阔的前景 [5]

针对科学计量学的各种研究过程中,由于对科学计量学理论和方法上认识的不足而在应用过程中出现的各种问题,笔者基于此对科学计量学本身提出一些自己的看法。

1.2.1 科学计量学研究方法

1)研究内容的思考

科学计量学包括三个部分:①国家科技政策分析,这部分需要结合文献计量、科技企业成长、GDP等不同的社会经济指标,以宏观的角度对科技发展政策提出建议;②项目、机构、团队、学者评价,这部分需要与期刊影响因子、引文率、各类指数的结合分析,与同行评议比较,同时必须考虑专家意见;③对测量所用的指数本身的研究,如H、A、G、RA等指数的研究,分析指数的优缺点后,针对缺点进行原有指数的改良。无论是研究哪个部分,都不能不参考其他部分的研究结果。笔者认为,科学计量学建立在文献计量学和统计学的基础之上,讨论的内容和设计问题的方向虽有不同,但是运用的方法和思路有共通之处,就分析工具而言,科学计量也有专属的软件,与一般的统计软件大同小异但是更为侧重利用已有的数据库资料和指数作分析。可以认为,科学计量学的研究内容是较为成熟的,已经成为一个独立的学科体系。

2)研究步骤的思考

目前图书馆学情报学的研究主要集中在三个子领域:用户、计量、系统。它们需要具有社会科学背景的人才去进行用户研究,具有统计知识背景的人才去进行书目计量、科学计量的研究,具有计算机编程背景的人才去进行数字图书馆技术的了解与尝试性开发,这三者都必须建立在实证的基础上,可以被其他研究者重复,或者进行修改;与用户研究相同:数据收集、数据整理、数据分析、形成结论四个步骤是必要的研究过程,然而科学计量学的研究必须还要加上第五个步骤“专家意见”才算合格。从科学计量学的实证研究可以看出,透过案例了解科学计量学,透过抽象归纳知道科学的量化研究的步骤与局限,找到指导自己研究工作原则的同时,也认识部分情报学的内容。

3)关于普赖斯批判的思考

对普赖斯的《大科学小科学》内容的阅读和相关参考文献的讨论中发现,由于他(对哲学观点的简单二分法下)是以英国经验主义为出发点 [6] ,沉浸在物理学杂志的书海中,归纳历史发展的规律,并且以数学形式进行表达,获得阶段性的突破与成果;必然遭到苏联科学家们以德国观念主义(如自然辩证法)的另外一种角度,对其不足之处产生分析与批判,这样的一种结果,又会遭到目前科学家的批判,而我们阅读的时候,又会再予以批判;这样持批判性眼光的阅读与思考过程最好是减少门户之见,而增加意见交流,最好的方式是阅读伴随着怀疑和猜测,然后激发自己想去实证的念头和动作。

4)预测与科研的思考

科学研究的发展是渐进的还是突变的,从科学计量的角度来说,我们只能透过总结历史轨迹,来预测未来渐进发展的趋势,对于以几个天才的灵感造成科学发展突变的现象,是无法透过计算来预言的。而恰恰是基于这样两种观点和做法,科学计量学给我们的启示是,进行科学研究需要建立在前人基础上,发现或者挖掘新的现象和问题,世界上终归会有人把没有被注意到的事实给挖掘出来,要想保持科学领先,就必须要时时关注别人的工作,让自己不处于模仿和重复的工作状态;至于是否能够有造成领域大变动的创造,则是在上述的基础上,可遇而不可求的事情。

1.2.2 普赖斯科技文献增长模型

普赖斯关于科技文献的增长模型,本质上是利用数学和统计学的方法对所获得的各类文献统计数据进行处理,最后得到描述文献增长的数学公式,即所谓的经验公式(empirical formula)。总的来说,普赖斯主要通过这种方法总结出了指数增长和逻辑斯蒂曲线增长、直线增长等模型。普赖斯当时是以世界范围的科技文献出版物为统计对象的,如《英国皇家学会哲学会刊》。普赖斯在得出科技文献的逻辑斯蒂增长模型后,认为科技文献的增长分为起始、发展和饱和三个阶段。

对于当今科技发展,已与普赖斯当时所处的世界显然有很大的不同。当今各国的科技发展是极为不平衡的,这必然反映到科技文献的不同上来,这里不仅有科技文献数量多寡的差别,而且有科技文献增长的不同阶段或方式的差别,作者猜想可以通过各个不同学科门类的发展情况以及该学科文献数量的多寡,以此作为国家科研能力的发达程度的一种判据,如表1-1所示,该表中文献总量大小的判定是指该国该学科世界范围内科技文献所占比例的大小。

表1-1 国家所处科技状态的评判依据

表1-1中选用了生命科学学科、物质科学学科和数学及逻辑学三个学科(分别代表新兴学科、传统学科和纯理学科)对科技核心国、科技强国、科技大国和科技弱国进行分类。按这种分类,科技核心国一般指美国、日本、德国、英国和法国;中国、俄罗斯、意大利、西班牙、韩国等属于科技强国。对于这些判定数据可以参见《科学观察》 [7] 上列出的相关数据。

表1-1如符合当前世界科技发展现状,则不失为一种普赖斯增长模型在现代科学世界中的一种应用。

1.2.3 科学计量指标与同行评议

1)正确的评价模式

对于群体事务的研究,我们可以透过数量的方式进行运算,比如发文量、引文量、时间轴等,对于群体事务的评价也比较客观公正,但是对于“个人”事务的研究,我们很难找到一个数量分析的方法,去分析“个人”的行为并进行评价,目前最多是对不同群体的某个现象做比较,例如,机构科研成果分析,或者基于随机抽样的原理对多数人的某个意见或者态度去归纳大致的趋势。这也正是科学计量学面临的问题,究竟该不该把这种科学的量化方法运用到科学家这种非常“个人化”的群体中进行所谓的评价和排名,存在着许多争议。以国内外认真负责的学者的看法是:计量方法作为一种辅助评议的参考资料,有着重要的纠正作用,例如,基于计量的评价结果是否与基于专家的评分结果差异过大,但是在使用计量方法的同时,也必须注意方法是否恰当和成熟,谨慎使用数字。

对于使用科学计量指标和同行评议来对科研绩效或科技评价进行评估和测度,通常必须建立以同行评议为主、科学计量指标为辅的科学评价体系,这一点在理论上是已经达成了共识的,但在实际运用中却有很大的不同 [8]

科学计量学的应用领域主要集中在对学科发展、科研工作、科学家、科研机构和科学出版物等的评价方面。也就是说,科学评价是科学计量学的一个主要应用领域,当然也是最受争议的领域 [9] 。但是,无论如何,之所以会产生这些问题,一方面可能是应用这些方法的人别有用心;但另一方面,也反映出科学计量方法本身所存在的局限性。科学计量方法不过是根据以期刊论文为代表的研究成果的主要外部特征对研究成果本身,或是研究人员、研究机构进行某种量化的分析,这种分析结果自然会受到论文数据库源、论文的学科领域以及分析研究人员自身专业素养等各方面的影响。因此,很难仅用某种特定的文献计量指标进行衡量或评价某个特定的对象,无论是研究成果本身,还是贡献该研究成果的研究人员或机构。

就我国目前而言,科学计量指标用得较为泛滥,特别是在大学排行中用得很多,在许多的大学排行榜中,同行评议所占份额很小,而且一般是以问卷调查的形式进行的,这些方法进行评价容易产生一些问题。同行评议在当前的中国遭到冷遇,主要原因在于人们对于“人”参与的评价活动很不信任,认为人有主观偏好、存在门户偏见等,影响了客观评价和公正评估。基于此,人们认为还不如直接用科学计量指标来得实在,既简单明了又方便比较,在冷冰冰的数字面前还让人无话可说,而同行评议显然要麻烦得多,既要专门确定同行评审专家若干名,又要花费大量的时间进行表格制定和标准制定等。这些大概是我国当前科研评价中科学计量指标火爆的原因。

2)同行评议专家的遴选

如前所述,对于以同行评议为主、科学计量指标为辅的科学评价体系,理论上是没有多大争论的,但在实际中,特别是在当前中国的特殊环境下,我们究竟应该如何使用同行评议和科学计量指标才能保证科研评价中的公正性和有效性呢?

选准同行专家是做好同行评议的关键,选择优秀的同行专家服务于评议委员会非常重要。最理想的情况可能是选择国外同行专家,这样可以更好的避免偏见和利益纠葛,但是大多数评议中都不可能做到这一点,那应该选择什么样的专家呢?一方面,同行评议的效果与资助机构选择的评议专家的素质紧密相连,因此资助机构应尽可能选择最优秀的专家。同行专家需要特别注意鼓励冒险和创新,以保证研究领域内具有创新思想的申请也有同等机会获得资助。明显缺乏评议领域专长的专家、评议不公正的专家、有本位主义的专家、科学作风不良的专家,不能参加同行评议 [10] 。另一方面,评议时专家应是匿名的,这能帮助评议人关注评议项目的科学价值,而不用担心影响与同一领域被评议人和同行的关系。若不能做到匿名评审,刚开始职业生涯的年轻研究人员则很难自然、客观地评价资格较老的研究人员的申请项目 [11] 。对于这些专家的选择显然也需要订立标准,这种标准之上再订标准,必然使得评审主办方的工作量再度加大,所以可以肯定地讲,如何选择评审专家在很长时期内仍然是一大难题。

但是,真正理想的完美无缺的没有任何偏见的评审专家本来就是不存在的,所以在评审过程存在或多或少的非公正性和非有效性的评估在一定范围内是可以允许的,我们或许可以借助一些科学方法来校正偏差,比如可以利用情报分析方法中的同被引、共词分析和科学知识图谱等方法预先遴选专家,构建同行评议专家自动遴选系统,在实践中加以检验和校正,或许可以一定程度上解决同行评议中存在的一些问题。 Q4jLkqHLerP5577V1ORqc+UcgKp9IqtHEmZRbGtIPaZLYy1RJRvjO/5FHMQYUkVK

点击中间区域
呼出菜单
上一章
目录
下一章
×