Saracevic在《数字图书馆评估:关于概念的发展》中认为,评估应该满足某种要求,包括以下最基本的相关选择和决策 [14] :
(1)评估体系的构建。即评估什么?数字图书馆的实际含义是什么?它包含的内容是什么?评估内容包含什么元素(成分、部分、程序)?
(2)评估标准的选择。即评估的目标、框架、观点和标准的选择。评估的标准是什么?选择评估标准的关键是什么?最后,选择某个标准有什么目的?
(3)相应的选择目标所反映的性能标准。即性能参数集中在哪一点?评估有什么尺度或特征?
(4)测度反映记录性能的选择标准。即使用假定专门测度什么?
(5)实际评估的方法。即用于测度的工具是什么?样本是什么?数据的收集使用什么程序?怎样分析数据?
国外学者根据评估的规范性、约束性及其深度和广度,一般将数字图书馆评估分为正式评估(Formal Evaluation)和非正式评估(Informal Evaluation)。正式评估复杂、可靠,但却耗费太多人力、财力,让人望而生畏。非正式评估简单、有效但却容易使评估迷失方向,使人们产生数字图书馆认识的某些错误感觉和期望。为了数字图书馆的更好发展,必须根据数字图书馆建设的各个时期,选择其中一种或两者结合起来使用。
根据评估采用的方法不同,数字图书馆评估主要有系统评估(System Evaluation)和用户评估(User Evalulation)。数字图书馆的评估研究中还广泛采用其他一些方法,如:社会学方法(Sociological Approach)、经济学方法(Economic Approch)、政治学方法(Political Approach)、民族地理方法,但这些方法不是主要方法。
根据数字图书馆工程设计、实施、执行和验收的各个阶段,还可以分为前期评估、中期评估和后期评估。
技术性能与水平评估。主要内容有:数字图书馆系统的功能结构及其完善程度;数据安全、共享的实现形式;分布式异构数据库的互操作性;海量多媒体数字信息的生成、存储技术及其网络传播、检索的无障碍性;人——机交互式学习、研究技术及其实时、同步控制程度。
数字资源量评估。主要内容有:本馆数字资源总量;外购数字化资源总量;数字资源的完整性、系统性、及时性和连续性;数字资源的加工质量(分辨率、压缩比等)。数字图书馆的数字资源量目前按TB(1012万亿)计算。
易用性评估。主要内容有:分类、标引、索引和检索手段的完备性;多种资源格式的转换、统一与知识挖掘性能;跨网、跨库、跨系统、跨平台、跨语言的操作与检索应用;界面的友好程度;检索、浏览、下载数字信息资源的效率与时间。
数字化服务评估。主要内容有:在线数字信息资源服务;网上实时搜集、传递、推送、发布服务;专门、个性化服务;数字图书馆员素质;用户反馈意见(时间、错误率、用户个人满意度、用户组综合意见)。
数字化管理评估。主要内容有:数字化管理的观念、方法、制度;数字化图书馆设计、实施、执行、发展的过程管理与日志管理;数字化图书馆的要素、结构、功能的全面管理;管理的规范化与国际、国家标准化程度。
数字图书馆的评估内容不是一成不变的,它允许评估者有自己的选择。这些内容的评估本身需要一套完备的标准,而这些内容与标准的确立会因人、因地、因时的不同而不同 [14] 。
数字图书馆评估可分成以系统为中心的评估和以用户为中心的评估 [14] 。
系统评估。设计人员或相关技术人员根据数字图书馆工程中的设计目标方案、软硬件技术和规范标准对其功能进行的评估。其目的是检查(验)系统设计目标是否完成,硬件是否符合工程需要,软件性能怎样,以及系统的技术标准化程度。由于系统评估是一项专业性很强的功能评估,一般只能由从事数字图书馆工程设计、实施、执行和管理方面的专业人员来完成。此外,由于技术垄断需要,其系统核心设计技术的评估,一般不允许机构外的人员参加。
用户评估。系统设计者或者用户根据数字图书馆的目标任务完成、行为模式和资源组织、发布对系统可用性进行评估。其目的是检查(验)数字图书馆完成了那些数字化任务,满足了用户的何种行为模式,以及知识信息资源的收集、再现、挖掘、组织、存储、管理和发布效果。任何一项数字图书馆工程建设都必须开展反复多次的用户评估,才能使数字图书馆建设满足用户的需要,因此它目前已成为探讨和实行数字图书馆评估的一种流行方式。当然,由于参加评估的用户在构成、组织形式上的不同,可用性评估结果及其权威性完全不一样。
以系统为中心的评估应该研究数字对象、界面和工程活动等。研究的问题可包括系统的存取性如何,硬软件和配置表现如何,搜索引擎的功能如何,是否采用了友好的用户界面设计。以用户为中心的评估应该研究数字图书馆的社会方面,包括数字图书馆的用户情况、使用情况和活动。以用户为中心的评估和反馈可以促进数字图书馆的建设;同样,以系统为中心的评估可以在某些方面帮助数字图书馆员理解数字图书馆对用户所提供的服务。因此,以用户为中心的评估和以系统为中心的评估可以相互补充 [30] 。
用户问卷表;数字图书馆日志;用户评估组。此外有电话访问、个人访问、电子公告板、专题讨论、学术会议等方式收集评估数据。
数字图书馆的评估是数字图书馆的一个重要组成部分。数字图书馆是一个系统,而它的评估核心是看这个系统的效益与效果。数字图书馆的评估是实现和不断完善数字图书馆功能的一项必然步骤,必须有计划地定期执行。数字图书馆的评估应该涉及数字图书馆的方方面面,这些方面包括收藏政策和选择原则,收藏的管理,元数据工具,资源处理步骤,服务范围,检索功能,多语言功能,资源更新适时性,界面设计,系统的兼容性和互操作,安全性和合法性,管理和维护 [30] 。
数字图书馆的评估研究对数字图书馆的发展起着不可低估的作用。随着数字图书馆评估理论的发展,人们对评估重要性认识的提高,特别是各国评估实践的日益增加,评估研究在数字图书馆建设与发展中的重要作用将更加突出的显现出来。通过开展各种有效的数字图书馆评估研究,进一步完善数字图书馆评估方法、内容体系,制定更符合时代发展需要的科学评估标准,对于促进各国数字图书馆技术和管理水平的提高,推动数字时代图书馆学理论与实践的发展,有着十分重要的意义。未来数字图书馆评估研究,将会朝着跨系统、跨馆、跨国大型综合性评估、符合国际和国家标准的规范性工具评估、核心技术专门评估、馆藏资源评估、系统功能评估、用户多因素综合评估、评估标准的科学化和质量指标的精确化评估等方面进一步探讨和完善。