多层大型数据中心DX间接蒸发冷却方案的应用研究

　　随着我国5G新基建、东数西算、数字中国和双碳节能等国家政策的深入推进和拉动影响,我国数据中心市场仍将保持高质量、高速增长。据预测2022年我国数据中心市场收入将达1900.7亿元,其中大型以上数据中心机架规模为420万架,占比达80%[1]。当前及未来三四年内,国内如何快速建设、运营新型的一体化、绿色节能的多层大型、超大型数据中心并取得更优的投资收益,将成为数据中心行业的共识及迫切期望。本文从影响大型多层数据中心建筑模型、技术架构、年均PUE及建设模式最为关键也最为重要的制冷方案入手,着重就间接蒸发冷却技术的实际应用进行了深度分析及成效测算,对实现数据中心的快速交付、高效节能和全生命周期内TCO(总所有成本)及效益最优化具有现实指导意义。

　　一、现状趋势

　　当前全球大型数据中心95%以上采用冷冻水系统[2],而国内大型数据中心平均单机柜功率大多在5～12kW左右,且主流制冷架构以冷冻水水冷系统方案居多。国内大型数据中心制冷方式可分为机械制冷(如DX(直接膨胀)制冷和冷冻水制冷)、自然冷却(如氟侧、水侧、风侧自然冷及自然水冷却)和液冷(如冷板和浸没)三大类。而在政策合规、安全稳定运行前提下,业内投资方越来越期望更高的制冷系统COP(能效比)、更低的年均PUE(电能利用效率)和更低的项目TCO,都是为了追求更快更高的项目收益回报。在这种趋势背景和目标驱动下,DX机械制冷已很难满足要求。常规的冷冻水制冷对建筑工艺要求高、系统设计复杂、建设周期长、运维及BA(楼宇设备自控系统)控制难度大、后期扩容改造挖潜困难、全周期内不够节能和经济性差等一系列突出弊端[3]。而浸没式液冷技术存在造价成本高、对建筑承重要求高(>4000kN/m2)、生态链不成熟度、主流服务器需定制等情况,还有待发展完善。

　　目前大型数据中心已普遍倾向优先采用自然冷却技术来替代传统的机械制冷技术,即尽可能多的使用自然冷源,减少或避免使用机械制冷。氟侧自然冷技术暂时不太适合大型多层数据中心,且已知的单台整机最大制冷量只有260kW,水侧和自然水冷却的系统依然复杂且有各种应用受限条件。综合来看，冷冻水制冷属于传统常规主流模式，而间接蒸发冷却方案和冷板式液冷方案正逐步得到规模化应用，并有先后成为未来主流制冷架构的趋势。

　　二、应用分析

　　1.工作原理

　　间接蒸发冷却技术是通过核心部件空空换热器实现机房室内空气与室外空气(新风)的间接热湿交换,具体工作原理是先将室外空气与循环水在湿通道侧直接接触等焓降温后,再间接的通过空空换热器带走机房室内空气中的热量,从而达到对其进行等湿降温冷却的效果。间接蒸发冷却技术可以完全隔离机房内外的空气,可以避免直接蒸发冷却带来的空气质量及湿度变化带来的一系列弊端问题,因而是一项利用室外自然冷源和水蒸发吸热制冷的绿色节能技术。其驱动力在于室外空气的干湿球温差越大,蒸发冷却能力越强,因此其制冷能力受制于外界自然气候条件。目前业内空空换热芯体基材主要分为高分子材料和铝材涂覆环氧树脂，其结构形式分为板翅式和管式。从国内主流应用和综合性价比来看，板翅式+铝材的搭配应用更为普遍，其突出缺点表现在芯体成本高出高分子材料30%～40%，且因流道狭窄易结垢堵塞，清洗维修困难。未来，板翅+高分子材料会成为主流趋势。

　　为了保证数据中心制冷系统的可靠性及持续稳定性,目前国内间接蒸发冷却空调大多配置有直接膨胀(DX)机械制冷,且存在干模式、湿模式和混合模式三种工作运行模式:干工况高效换热自然冷模式(在冬季、春季以及秋季室外T1较低时)、湿工况蒸发冷却自然冷模式(在夏季、春季和秋季室外T1较高时)、蒸发冷却和机械制冷混合模式(在夏季的高温时间段需补充制冷时)。DX制冷补充百分比受地理位置、全年最高喷淋降温后温度、全年最高干球温度和换热芯体的换热能力等综合决定。DX间接蒸发冷却空调的控制逻辑有节能、节水、MAX(最大化)和节约模式,通常出厂默认为节能模式。异常掉电上电后先以MAX模式运行,再切换为自动运行模式。因其单台设计有完整的控制逻辑可以独立运行,也可以共享机房参数进行组网群控。

　　2.应用现状

　　DX间接蒸发冷却空调在节能减排、分期部署、建设周期、可靠性、TCO方面均优于传统解决方案,近几年在国内年装机容量从2017年的不足100套已快速增长至2021年的1000多套，应用增长势头迅猛。其应用范围非常广，全国大部分地区全自然冷却模式开启时间超过50%，北方地区全自然冷模式开启时间超过6000小时，可使南北各地的数据中心CLF(制冷能效系数)控制在0.05～0.20之间，加上高效供配电系统及其他节能技术和精细化运维管理手段，基本上可以实现年均PUE低于1.25，且地理位置越靠西、靠北，年均PUE将越低。

　　以下表2是国内外DX间接蒸发冷却空调产品的技术特点及应用案例情况分析。近几年,进口品牌中阿尔西和维谛的知名度及批量应用较多,而英维克、华为、申凌等国产品牌的综合性价比优势也得到了大幅提升(但性能能效上仍有差距),因而在BAT等互联网领域有大规模应用。除此之外,其他品牌的市场占有率及认可度可能稍低一些。

　　3.优劣分析

　　相比传统冷冻水制冷系统,DX间接蒸发冷却空调更加节约电费和水费、系统更为简单、建设周期更短、应用范围更广、可靠性更高、其群控架构(去BA)及运维更简化、年均PUE及TCO更低,更适合当前及未来几年中高功率密度的多层大型及超大型数据中心的制冷(大平层及双层模型下的优势,国内已有诸多可验证案例)。

　　4.多层模型重难点

　　对于多层建筑模型采用间接蒸发冷却架构方案时,需要重点考虑匹配的建筑结构和建筑工艺设计,特别是要解决好上下层室外进排风短路问题。由于国内大型数据中心已逐步从北上广深向周边及资源条件更优良的二三线城市转移,多层纯钢架构建筑工艺及平面布局方案,因造价高、经久耐用及防火防腐方面不及传统钢混结构好,并不具有推广可行性。

　　国内某厂给出的间接蒸发冷却多层建筑模型提出了室外侧排风共用竖向排风井或每层独立设置竖向风井方案,在占地面积、共用风井上层排风冲击压住下层排风及独立风井屋顶排风口设计方面可能都不是最优的设计。英国伦敦Telehouse NorthTwo数据中心将间接蒸发冷却设备布置在2～7层,采取了室外进排风近90°的岔流设计,即每层间接蒸发冷却设备并列排布的方向(两侧)为进风流向,间接蒸发冷却设备的正面为排风流向,二者气流流向无交叉且形成90度,良好的解决了多楼层场景下气流短路的问题,实际运行年均PUE<1.16。瑞士SAK数据中心的室外进排风流向则与伦敦Telehouse的设计恰好相反,采用从建筑物正面进风,从侧面排风,但也是构成岔流90度,且在进排风之间设计了可控混合风阀用于防止结露,实际运行年均PUE达到了1.15。综合成效及投资来看,伦敦Telehouse的气流组织设计及换热效率方面更加科学经济合理且更适用于国内多层建筑模型,且国内已有类似的高层建筑案例(如深圳平安项目)可供验证参考。

　　因此,多层建筑模型可采取两种方式:传统钢混多层建筑+单侧\双侧钢结构+间接蒸发冷却机组室外摆放;全部采用传统钢混多层建筑+间接蒸发冷却机组靠室内外侧摆放。综合来看,多层钢混+钢结构模型的造价稍高一些,在园区建筑总体外立面装饰效果统一上需要格外设计,但其进排风的气流组织及换热效率会更好。

　　三、投资效益分析

　　大型多层数据中心采用间接蒸发冷却方案在技术成熟度、安全稳定可靠性方面已不足为虑,而项目投资建设方更在意投入产出的经济性指标,具体包括了数据中心的选址、前期投资额、出柜率、单kW造价水平、机柜租赁价格、运营开支、PUE及当地水电价格水平等。如表4所示,当前国内数据中心主流的平均单机柜功率主要分为3档,即传统的2～8kW/柜,当前的8～15kW/柜,以及未来的10～30kW/柜。对于项目机柜数超过3000架,要在合规合法、安全稳定前提下去追求全局、全生命周期投资收益最大化(保证风险可控且收益可期),我们可以从多个维度给出不同单机柜功率层级主流的制冷技术方案多维度定性的对比分析,这将有助于投资建设方选出正确的适配制冷架构方案。

　　四、总结

　　未来3-5年内国内,中高功率密度大型数据中心的制冷架构将逐步向更加节能、节水、节钱的间接蒸发冷却方案和集装箱式氟泵冷却方案、冷板式液冷方案演进。在国内集装箱式氟泵冷却方案、冷板式液冷方案的生态链尚未足够成熟和大规模化应用推广之前,从尽可能提高全局、全生命周期收益,缩短投资回报周期,降低全生命周期TCO成本及履行社会责任角度,可以推测:对于国内大部分地区单机柜功率在8～15kW的多层大型或超大型数据中心,采用多层钢混建筑+DX间接蒸发冷却+局部钢结构+热通道封闭+预制化系统方仓技术架构方案,将是最为经济适配和高效节能的,也并将取代传统水冷冷冻水系统+板换架构而成为近3～5年内新的热门制冷架构。我们在比选国内外间接蒸发冷却机组时,应结合项目所在地的气候条件和设定的机房送回风温度,重点关注三种工况对应的换热芯体效率、全年工作时长和历史故障率水平,择优选择年均PUE及全局TCO更优秀的产品。