数据中心电源建设相关的标准及规范见表1-1。
表1-1 数据中心电源建设相关的标准及规范
GB 50174—2017《数据中心设计规范》主要对数据中心的分级、选址及设备布置、环境要求、建筑与结构、空气调节、供配电、电磁屏蔽、网络与布线系统、智能化系统、给水排水、消防与安全等内容进行了规范。这个标准将数据中心分为A、B、C三个等级,其中A为最高等级,C等级最低。
YD/T 1818—2018《电信数据中心电源系统》规定了电信数据中心电源系统的组成、分级、外市电系统、高压配电系统、变压器、低压配电系统、备用发电机系统、交流不间断电源(Uninterruptible Power Supply,UPS)系统、直流电源系统、蓄电池组、预装式供电系统、高压输电系统危险影响防护、防雷与接地系统、动力及环境监控管理系统、自动控制要求等。这个标准将数据中心分为T4、T3、T2、T1四个等级,其中T4为最高等级,T1等级最低。
TIA-942《数据中心电信基础设施标准》是由美国电信产业协会(TIA)、TIA技术工程委员会(TR42)和美国国家标准学会(ANSI)批准的美国标准。这个标准将数据中心分为T4、T3、T2、T1四个等级,其中T4为最高等级,T1等级最低。
除了上述国内、国际标准和规范外,国际上还有Uptime Institute发布的数据中心基础设施相关认证标准和规定。Uptime Institute是由数据中心标准组织和第三方认证机构发布,数据中心基础设施中的相关规定是国际上关于数据中心认证的重要标准依据。Uptime Tier数据中心等级认证体系分为Tier Ⅰ—Tier Ⅳ四个等级,其中TierⅣ为最高。Uptime Tier等级认证针对数据中心的电气参数、冗余、地板承载、电源、冷却装备,甚至造价等都进行了规定。
Uptime Institute发布的数据中心基础设施是基于美国本土客观环境条件制定的数据中心建设的标准和规定,其中部分内容并不适合我国的客观环境条件,国内建设方在数据中心的建设中应避免照搬硬套。国内数据中心建设应遵循国内标准规范的相关要求,以及用户对基础设施的个性要求,除非来自国际用户对数据中心有Uptime等级认证需求。
《数据中心设计规范》把数据中心划分为A、B、C三个等级。A级为“容错”系统,可靠性和可用性等级最高;B级为“冗余”系统,可靠性和可用性等级居中;C级用于满足基本需要,可靠性和可用性等级最低。
衡量一个数据中心在所处的行业或领域内的重要性,最主要的标准是由于基础设施故障造成网络信息中断或重要数据丢失在经济和社会上造成的损失或影响程度。数据中心按照哪个等级标准进行建设,应由建设单位根据数据丢失或网络中断在经济或社会上造成的损失或影响程度确定,同时还应综合考虑建设投资。数据中心的等级越高,供电可靠性就越高,但投资也相应增加。
三个等级的数据中心是根据数据中心的使用性质、数据丢失或网络中断在经济或社会上造成的损失或影响程度确定等级的,具体如下。
1)A级数据中心:
①电子信息系统运行中断将造成重大的经济损失。
②电子信息系统运行中断将造成公共场所秩序严重混乱。
A级数据中心举例:金融行业、国家气象台、国家级信息中心、重要的军事部门、交通指挥调度中心、广播电台、电视台、应急指挥中心、邮政、电信等行业的数据中心及企业认为重要的数据中心。
2)B级数据中心:
①电子信息系统运行中断将造成较大的经济损失。
②电子信息系统运行中断将造成公共场所秩序混乱。
B级数据中心举例:科研院所、高等院校、博物馆、档案馆、会展中心、国际体育比赛场馆、政府办公楼等的数据中心。
C级数据中心则指那些不属于A级或B级的数据中心。
其他企事业单位、国际公司、国内公司应按照机房分级与性能要求,结合自身需求与投资能力确定本单位数据中心的建设等级和技术要求。
在同城或异地建立灾备数据中心时,灾备数据中心宜与主用数据中心等级相同。当灾备数据中心与主用数据中心数据实时传输备份,业务满足连续性要求时,灾备数据中心的等级可与主用数据中心等级相同,也可低于主用数据中心的等级。
基础设施由建筑、结构、空调、供电、网络、布线、给水排水等部分组成,当各组成部分按照不同等级进行设计时,数据中心的等级按照其中最低等级部分确定。例如:供电系统按照A级技术要求进行设计,而空调按照B级技术要求进行设计,则此数据中心的等级为B级。
A级数据中心涵盖B级和C级数据中心的性能要求,且比B级和C级数据中心的性能要求更高。意外事故包括操作失误、设备故障、正常市电电源中断等,一般按照发生一次意外事故做设计,不考虑多个意外事故同时发生。设备维护或检修也只考虑同时维修一个系统的设备,不考虑多系统的设备同时维修。在一次意外事故发生后或单系统设备维护或检修时,基础设施能够满足电子信息设备基本运行需求。
当A级数据中心同时满足下列要求时,电子信息设备的供电可采用UPS系统和市电电源系统相结合的供电方式,即市电直供/不间断电源混供方式。
1)设备或线路维护时,应保证电子信息设备正常运行。
2)市电直接供电的电源质量应满足电子信息设备正常运行的要求。
3)市电接入处的功率因数应符合当地供电部门的要求。
4)柴油发电机系统应能够承受电子信息设备类容性负载的影响。
5)向电网注入的总电流谐波含量不应超过10%。
在第5条中,电子信息设备产生的电流谐波超过10%时,应进行谐波治理。
当两个或两个以上地处不同区域的云计算数据中心或互联网数据中心同时建设,互为备份,且数据实时传输、业务满足连续性要求时,由于数据中心之间已实现容错功能,因此数据中心的基础设施可根据实际情况,按容错或冗余系统进行配置。
B级数据中心的基础设施应按冗余要求配置,B级数据中心涵盖C级数据中心的性能要求,且比C级数据中心的性能要求更高。在电子信息系统运行期间,基础设施在冗余能力范围内,不应因设备故障而导致电子信息系统运行中断。
C级数据中心的基础设施应按基本需求配置,在基础设施正常运行情况下,应保证电子信息系统运行不间断。
1)基本要求:A级数据中心的供电电源应按国家标准GB 50052—2009《供配电系统设计规范》里的一级负荷中特别重要的负荷(当中断供电将造成重大设备损坏或发生中毒、爆炸和火灾等情况的负荷,以及特别重要场所的不允许中断供电的负荷)考虑;B级数据中心的供电电源按一级负荷考虑;C级数据中心的供电电源按二级负荷考虑。
在工程设计时,数据中心的供配电系统应该兼顾数据中心终期发展,系统要具备可扩展性,并在高压系统和低压系统预留容量,用于数据中心设备今后的扩容。
数据中心外市电电源线不宜采用架空方式引入,宜采用直接埋地、排管、电缆沟或电缆隧道敷设方式。
数据中心供电可靠性要求较高,为防止其他负荷干扰,当数据中心用电容量较大时,应设置专用配电变压器供电;数据中心用电容量较小时,可由专用低压馈电线路供电。
变压器宜采用干式变压器,变压器宜靠近负荷布置。
数据中心低压配电系统的接地型式宜采用TN系统。采用交流电源的电子信息设备,其配电系统应采用TN-S系统。
2)配置要求:具体参见后面的表1-4。
1)基本要求:A级数据中心必须设置备用电源。备用电源宜采用独立于正常电源的柴油发电机组,也可采用供电网络中独立于正常电源的专用馈电线路(如第三路市电电源)。当两路正常电源均发生故障时,备用电源应能承担数据中心正常运行所需要的用电负荷。
B级数据中心宜采用两路市电电源引入。当B级数据中心有两路市电电源引入时,不需要再设置柴油发电机组作为备用电源;当只有一路市电电源引入时,应设置柴油发电机组作为备用电源。
备用柴油发电机组的性能等级不应低于G3级。
A级数据中心的备用柴油发电机组应考虑连续和不限时运行,发电机组的输出功率应满足数据中心最大平均负荷的需要。最大平均负荷是指按需要系数法对电子信息设备、空调和制冷设备、照明等所有保证负载进行负荷计算得出的数值。确定发电机组的输出功率还应考虑负载产生谐波对发电机组的影响。
按A级标准建设的金融行业数据中心,发电机组的输出功率可按持续功率选择。综合考虑B级数据中心的负荷性质、市电的可靠性和投资的经济性,发电机组输出功率中的限时运行功率能够满足B级数据中心的使用要求。
这里需要注意的是,《数据中心设计规范》中对备用柴油发电机组的输出功率定义与以往柴油发电机组的主用功率、备用功率的定义不同。
配置备用柴油发电机组的数据中心应在发电机房设置燃油箱,燃油箱应具备燃油补充装置。当外部供油时间有保障时,燃油箱储存的柴油的供应时间宜大于外部供油时间。当外部供油时间没有保障时,数据中心应设置其他(储油罐)储油装置来保证储油时间。
2)配置要求:具体参见后面的表1-4。
市电电源与备用柴油发电机组之间采用自动转换开关时,自动转换开关电器宜具有旁路功能,或采取(组合电器)其他方式,在自动转换开关电器检修时,不应影响两个电源之间的转换。
电子信息设备供电电源质量应根据数据中心的等级,按照表1-4的要求执行。当电子信息设备采用48V、240V、336V直流电源供电时,供电电压应符合电子信息设备的要求。
A级数据中心同时满足下列要求时,电子信息设备的供电可采用UPS系统和市电电源系统相结合(市电/UPS混供系统)的供电方式。
1)设备或线路维护时,应保证电子信息设备正常运行。
2)市电直接供电的电源质量应满足电子信息设备正常运行的要求。
3)市电接入处的功率因数应符合当地供电部门的要求。
4)柴油发电机系统应能够承受容性负载的影响。
5)向公用电网注入的谐波电流分量(方均根值)不应超过现行国家标准GB/T 14549—1993《电能质量公用电网谐波》规定的谐波电流允许值。
当两个或两个以上地处不同区域的数据中心同时建设,互为备份,且数据实时传输、业务满足连续性要求时,数据中心的基础设施可按容错系统配置,UPS系统也可按冗余( N +1)系统配置。
UPS系统应为电子信息系统的可扩展性预留备用容量。
电子信息设备宜由UPS系统供电。UPS系统应有自动和手动旁路装置,避免在UPS设备发生故障或进行维修时中断电源。确定UPS系统的基本容量时应留有余量。
当市电电源质量能够满足电子信息设备的使用要求时,也可由市电直接供电。辅助区宜单独设置UPS系统,以避免辅助区的人员误操作而影响主机房电子信息设备的正常运行。
数据中心内采用UPS系统供电的空调设备和电子信息设备不应由同一组UPS系统供电,以减少对电子信息设备的干扰;测试电子信息设备的电源和电子信息设备的正常工作电源应采用不同的UPS系统。
《电信数据中心电源系统》把电信数据中心划分为T4、T3、T2、T1四个等级。T4级为容错型,可靠性和可用性等级最高;T3级为在线可维护型,可靠性和可用性次于T4级;T2级为部分冗余型,可靠性和可用性等级再次之;T1级为基本型,可靠性和可用性等级最低。
T4级:在系统运行期间,其场地设备不应因操作失误、设备故障、外电源中断、维护和检修而导致运行中断。满足下列情况之一时,数据中心(机房)应为T4级。
1)设备运行中断将造成重大的经济损失。
2)设备运行中断将造成公共场所秩序严重混乱。
3)使用方需要提供T4级机房服务。
T3级:在系统运行期间,其场地设备不应因设备故障、外电源中断、维护和检修而导致运行中断。满足下列情况之一时,数据中心(机房)应为T3级。
1)设备运行中断将造成较重大的经济损失。
2)设备运行中断将造成公共场所秩序较严重混乱。
3)使用方需要提供T3级机房服务。
T2级:在系统运行期间,其场地设备在冗余能力范围内,不应因设备故障而导致运行中断。满足下列情况之一时,数据中心(机房)应为T2级。
1)设备运行中断将造成较大的经济损失。
2)设备运行中断将造成公共场所秩序混乱。
3)使用方需要提供T2级机房服务。
T1级:满足基本用电要求,没有冗余,为场地内的数据设备在供电、制冷、网络等各方面提供基本的工作环境,在场地设施正常运行情况下,应保证电子信息系统运行不中断。
当数据中心市电电源采用2 N 或 N +1供电方式引入时,每套高压配电系统之间可完全独立。作为主备用的两路市电进线断路器宜采用备用市电自动投入装置,同时还应具备手动操作功能。直流操作电源应采用两路电源输入。
变压器宜选用干式变压器。而且,ICT(Information Communication Technology,信息通信技术)设备负荷应该使用专用变压器或专用回路供电。
低压配电系统应按照近期负荷的需求进行配置,同时还要考虑扩容方便。从变压器输出端开始,至用电设备的输入侧的配电不应多于4级。低压配电系统中上级断路器和下级断路器的容量及参数应设置合理,并可实现选择性保护。
当低压配电系统中的总电流谐波含量超过10%时,应在系统中配置有源滤波器进行谐波治理。
数据中心的备用电源可使用往复式柴油发电机组或燃气轮发电机组作为备用电源系统,燃气轮发电机组宜选择使用柴油作为燃料。
负荷较大的电信数据中心应优先选用10kV高压发电机组,高压发电机组的中性点宜采用小电阻接地方式。备用发电机组应具有良好的抗谐波能力。
当两个数据机房的市电来自不同的上级变电站时,经过技术经济分析以及风险分析论证合理时,这两个数据机房之间可采用备用发电机组复用的方式。当备用发电机组复用时,宜在低安全等级的机房之间复用,或在高安全等级机房和低安全等级机房之间复用。当采用备用发电机组复用时,必须提前确定一旦出现两路主用市电电源同时故障时,需要优先保证的负荷。对于优先保证的负荷,其机房等级按备用发电机组未复用时确定。
在经济技术合理或市电电源取得困难时,数据中心可以使用长期运行的天然气机组作为主用电源。当使用天然气机组作为主用电源时,最好采用冷热电三联供的方式运行。若采用冷热电三联供运行方式时,数据中心应根据其等级另外配置容量满足要求的备用电源。
市电电源与备用发电机组之间应该采用自动切换方式,并应具有电气联锁装置。
根据数据中心的等级、负荷规模等条件,应使用在线式UPS系统。在并机方式运行时,UPS设备的并机台数不宜超过四台,不宜设置并机总输出断路器或通过总并机柜输出。
模块化UPS系统每机架内的功率模块应按 N + X ( X ≥1)进行冗余。
UPS系统的主路输入和静态旁路的输入宜分别引自不同的输入开关。
UPS系统应有自动和手动旁路装置。
直流UPS系统包括-48V开关电源系统和240V、336V直流供电系统。
模块配置根据系统最大输出电流采用 N +1冗余配置,其中 N 个主用。当 N ≤10个时,1个备用模块;当 N >10个时,每10个备用一个模块。
240V、336V直流供电系统容量宜在1200A以下,不应超过1600A,系统应采用悬浮方式供电,并应具备绝缘监察功能。
直流电源系统宜采用分散供电,尽量接近负荷中心。
蓄电池组并联组数不应超过4组;不同厂家、不同容量、不同型号的蓄电池组不应并联使用。
根据Uptime Institute最新中文版对数据中心四级Tier的定义,其标准下的数据中心分级见表1-2。
表1-2 数据中心分级表
根据TIA-942《数据中心电信基础设施标准》,考量基础设施的“可用性”“稳定性”和“安全性”,将数据中心分为四个等级(见表1-3):Ⅰ、Ⅱ、Ⅲ、Ⅳ。Ⅳ级机房为级别最高的机房,最大的特色在于可以提供容灾服务。
表1-3 数据中心分级表
根据前文所述的不同标准,列出数据中心建设标准要求对比表,见表1-4。
1)供配电系统应为电子信息系统的可扩展性预留备用容量。
2)户外供电线路不宜采用架空方式敷设。
3)数据中心应由专用配电变压器或专用回路供电,变压器宜采用干式变压器,变压器宜靠近负荷布置。
4)数据中心低压配电系统的接地型式宜采用TN系统。采用交流电源的电子信息设备,其配电系统应采用TN-S系统。
5)电子信息设备宜由UPS供电。UPS系统应有自动和手动旁路装置。确定UPS系统的基本容量时,应留有余量。UPS系统的基本容量一般可按式(1-1)计算:
式中, E 为UPS系统的基本容量,不包括备份UPS系统设备(kW或kV·A); P 为电子信息设备的计算负荷(kW或kV·A)。
应注意,具体留有多少余量,应由设计人员根据相关设计规范及用户要求确定。
6)数据中心内采用UPS系统供电的空调设备和电子信息设备不应由同一组UPS系统供电,测试电子信息设备的电源和电子信息设备的正常工作电源应采用不同的UPS系统。
7)电子信息设备的配电宜采用配电列头柜或专用配电母线。采用配电列头柜时,配电列头柜应靠近用电(ICT)设备安装;采用专用配电母线时,其专用配电母线的接线应具有灵活性。
表1-4 数据中心建设标准技术要求对比表
(续)
(续)
(续)
8)交流配电列头柜和交流专用配电母线宜配备瞬态电压浪涌保护器和电源监测装置,并应提供远程通信接口。当输出端中性线与PE线之间的电位差不能满足电子信息设备使用要求时,配电系统可装设隔离变压器。
9)电子信息设备的电源连接点应与其他设备的电源连接点严格区别,并应有明显标识。
1)高等级数据中心的基础设施宜按容错系统配置,在电子信息系统运行期间,基础设施应在一次意外事故后或单系统设备维护或检修时仍能保证电子信息系统正常运行。如A级数据中心涵盖B级和C级数据中心的性能要求,且比B级和C级数据中心的性能要求更高。意外事故包括操作失误、设备故障、正常电源中断等,一般按照发生一次意外事故做设计,不考虑多个意外事故同时发生。设备维护或检修也只考虑同时维修一个系统的设备,不考虑多系统的设备同时维修。在一次意外事故发生后或单系统设备维护或检修时,基础设施能够满足电子信息设备基本运行需求。
2)数据中心同时满足下列要求时,电子信息设备的供电可采用UPS系统和市电电源系统相结合的供电方式。
①设备或线路维护时,应保证电子信息设备正常运行。
②市电直接供电的电源质量应满足电子信息设备正常运行的要求。
③市电接入处的功率因数应符合当地供电部门的要求。
④柴油发电机系统应能够承受容性负载的影响。
⑤向电网注入的总电流谐波含量不应超过10%。
此条规定的主要目的是在保证可用性的前提下,降低数据中心总体拥有成本(Total Cost of Ownership,TCO)。电子信息设备属于容性负载,柴油发电机系统应能够承担容性负载的影响;当电子信息设备产生的电流谐波超过10%时,应进行谐波治理。
3)当两个或两个以上地处不同区域的数据中心同时建设,互为备份,且数据实时传输、业务满足连续性要求时,数据中心的基础设施宜按容错系统配置,也可按冗余系统配置。这是A级数据中心的一种情况,主要适用于云计算数据中心、互联网数据中心等。当两个或两个以上在同城或异地同时建立的数据中心互为备份,且数据实时传输备份、业务满足连续性要求时,由于数据中心之间已实现容错功能,因此其基础设施可根据实际情况,按容错或冗余系统进行配置。
1)电力供给应充足可靠,通信应快速畅通,交通应便捷。
2)采用水蒸发冷却方式制冷的数据中心,水源应充足。
3)自然环境应清洁,环境温度应有利于节约能源。
4)应远离产生粉尘、油烟、有害气体以及生产或贮存具有腐蚀性、易燃、易爆物品的场所。
5)应远离水灾、火灾和自然灾害隐患区域。
6)应远离强振源和强噪声源。
7)应避开强电磁场干扰。
8)A级数据中心不宜建在公共停车库的正上方。
9)大中型数据中心不宜建在住宅小区和商业区内。
在保证电力供给、通信畅通、交通便捷的前提下,数据中心的建设应选择气候环境温度相对较低的地区,这样有利于降低能耗。
电子信息系统受粉尘、有害气体、振动冲击、电磁场干扰等因素影响时,将导致运算差错、误动作、机械部件磨损、腐蚀、缩短使用寿命等。数据中心位置选择应尽可能远离产生粉尘、有害气体、强振源、强噪声源等场所,避开强电磁场干扰。
水灾隐患区域主要是指江、河、湖、海岸边,A级数据中心的防洪标准应按100年重现期考虑;B级数据中心的防洪标准应按50年重现期考虑。在园区内选址时,数据中心不应设置在园区低洼处。
从安全角度考虑,A级数据中心不宜建在公共停车库的正上方,当只能将数据中心建在停车库的正上方时,应对停车库采取防撞防爆措施。
空调系统的冷却塔或室外机组工作时噪声较大,若数据中心位于居民小区内或距离住宅太近,噪声将对居民生活造成影响。居民小区和商业区内人员密集,不利于数据中心的安全运行。
灾备数据中心的组成应根据安全需求、使用功能和人员类别划分为限制区域、普通区域和专用区域。限制区域宜包括主机房、辅助区和支持区等,普通区域宜包括应急指挥中心、外援工作区、媒体发布区、休息室、储物室、医疗室、停车场等,专用区域包括集合区域、等候区域和中间整备区域等。
限制区域是指根据安全需要,限制不同类别人员进入的场所。人员类别主要分为灾备数据中心工作人员、用户、设备材料供应商、参观人员。
普通区域是用于灾备恢复和日常训练、办公的场所。应急指挥中心对灾备数据中心进行集中监控和运营管理,当灾难发生时,灾备恢复人员从该中心发出灾备恢复指令、协调各种资源、联络客户和执行灾备恢复流程。应急指挥中心应设置专线电话、获取外部信息的设备及专用会议室。外援工作区是为用户和设备通信供应商提供灾备恢复或日常测试需要的办公区域。媒体发布区是用于同新闻机构和外部人员交流的区域,该区域应设置在远离限制区域和应急指挥中心的位置,并应确保只有被邀请的媒体或外部人员才能进入。休息室应设置卫生间、更衣室、淋浴等设施,以满足灾备人员短期生活要求。储存室用于短期生活用品的储存。医疗室可为灾备人员提供紧急医疗援助。
专用区域是提供给用户在恢复期间使用及放置设备的场所。集合区域是集合所有灾难恢复人员并下达命令的场所,集合区域可以是一个开放的空间、大厅或礼堂,能够容纳所有灾难恢复人员,该区域应设置广播扩音系统。等候区域是灾难恢复人员装卸和检查相关设备的场所。中间整备区域用以测试电子信息设备。
根据电子信息设备技术的发展、国外相关标准的变化以及节能要求,数据中心主机房的温度等参数提出要求。主机房和辅助区内的温度、露点温度和相对湿度应满足电子信息设备的使用要求;无特殊要求时,应按照表1-5执行。
表1-5 数据中心温度等参数要求
当机柜或机架采用冷热通道分离方式布置时,主机房的环境温度和露点温度应以冷通道的测量参数为准;当电子信息设备未采用冷热通道分离方式布置时,主机房的环境温度和露点温度应以送风区域的测量参数为准。主机房的环境温度、相对湿度和露点温度有推荐值和允许值,按推荐值设计的主机房,对电子信息设备在可靠性、能耗、使用性能、寿命等方面更有利。当电子信息设备对环境温度和相对湿度可以放宽要求时,主机房环境温度、相对湿度和露点温度可采用允许值进行设计。