探讨数据中心散热难点的解决方案

随着服务器集成度的提高,数据中心单机架的功率大幅提升。据统计,现在最新的刀片式服务器机架功率高达15KW,台式服务器机架功率为1.5KW,模块式服务器机架功率为5KW。高耗电必然产生高发热,这使得局部发热变得很厉害,温度梯度变化大,通风降温处理复杂。空调短时间的停机或制冷量不足,机房温度会迅速升高,造成服务器报警甚至停机。据相关数据显示,我国有近33%的机房曾因为空调制冷问题出现过宕机现象。

从目前看来,空调系统制冷量或送风量设计过小、机房大环境气流组织不合理、机柜内部小环境气流组织不合理、机柜发热量过大、机柜排列过于密集等问题是导致局部过热的主因,解决这些问题,应从机房的规划设计、制冷系统设计和设备选型、应用维护等三个方面着手予以分析,并给出高密系统的解决办法。

一、机房的规划设计

1、对机房进行分类明确功率密度。根据机房设备安放与耗电密度,将机房分为高负荷机房、中负荷机房及低负荷机房三种,其单位面积和单机柜耗电指标、单机柜设备配置数量限值见表1。

2、对于新建机房,可以考虑外墙的朝向,将机房设计在建筑的东侧或北侧,在相对一侧留有走廊等通道。机房内尽量不设计窗口,选用密封性能好和自动关闭式的防火门。

3、大型数据中心不宜正方形,而应为长条形,面积宜为500至800?。

4、布置数据中心设备区域,应根据设备种类、系统成组特性、设备的发热量、机柜设备布置密度、设备与机柜冷却方式等,合理考虑机房区域、机柜列组、机柜内部三个层面的精密空调设备制冷的气流组织。当机柜内或机架上的设备为前进风、后出风方式冷却时,机柜或机架的布置宜采用面对面、背对背方式。热通道间距应大于冷通道间距,以有利于热通道散热。一般采用地板下送风上部回风的气流组织方式,其送风通道和回风通道均可在需要的位置开设风口。采用架空地板作为送风静压箱,架空地板的高度应根据负荷密度、机房面积综合确定。

二、制冷系统设计和设备选型

目前机房的冷却系统都需要符合可扩展性和适应性、标准化、简单化、智能化、可管理化等五种要求。当前最为紧迫的核心问题是机房适应变化能力较差。机房冷却系统必须对不断变化的要求有更强的适应能力,对不断增长和无法预测的功率密度制定规划,同时要设计出适应能力强并易于改进的冷却系统。

1、选用高效机房专用空调

(1)机房空调机组根据冷源及冷却方式一般可分为风冷、水冷、双冷源机组等,对于机房热负荷较小或采用地板送风方式受建筑条件限制的中、小型机房,可考虑采用管道上送风方式,并使送风口尽量接近机架;对于热密度高的大、中型机房,优先采用水冷式空调制冷机。北方地区采用水冷冷水机组的机房,冬季可利用室外冷却塔作为冷源,通过热交换器对空调冷冻水进行降温。

(2)冷量应与机房设备的额定发热量建立函数关系,一般采用机房的总冷量等于机房UPS额定可用容量的1.3-1.5倍作为经验数值。这需了解其配置的压缩机规格,并联空调机组运行的相互影响程度,当以冷量计算粗选各厂家相近的空调设备时,必须对其送风量进行复核,处理焓差应按≤2.5Kcal/Kg干空气左右选用。尽管很多空调产品显冷量比例很高,但实际工作温度下显冷量下降多;即使空调输出冷量足够,但机房热岛效应严重,故负载发热量与空调额定制冷量配备比在1:1.5以上比较合适。

(3)选用模块化组合机组。通过主从控制,主机将多台模块所采集的温、湿度参数取其平均值,实现步调一致的效果。

(4)在布局空调时,机组送风的距离不宜过大,专用空调最佳送风距离为15-16米。空调室内机安装高度应高于机房面100-200mm,以减少相邻空调机组间扰流影响,减轻备机停机时气流倒灌,避免引起气流短路。还须减少送风路径、降低架空地板下送风风速,以保证送风口的出风速度。

(5)由于风冷直接膨胀式机房精密空调的冷却极限约为4KW/?,当机房环境的热负荷超过5KW/?时,如用传统方式的机房专用空调来解决,会有局部热点存在,必然需要精密空调增加为高热密度负荷提供良好的微环境调节能力,这势必要在空调机组系统控制和气流组织设计上进行革新;而不仅仅是简单的增加机房精密空调的装机容量。

2、空气分配系统配置

如今机房空调配套系统迫切需要建立起能反映机柜内温度、机柜排风侧垂直温差及反映能节能、提高空调制冷效率以消除机房平面温差。

(1)室内送风机风量和风压能适时调节。应能根据热源大小不同来调节分配出风口的冷气量。地板送风口数量应保障每个服务器机架均能有足够的冷却风量,送风口位置宜设在服务器机架进风处。地板送风口风速宜在1.5-3.0m/s间。对柜底地板出风方式,应保证机房内每个出风口的基本出风量都能达到 15m3/min以上。对于过道地板出风方式,当机柜采用面对面、背靠背排列时,应保证过道内每600mm长度上输出的基本出风量达到50m3/min以上;机柜采用统一朝向排列时,应保证过道内每600mm长度上输出的基本出风量达到25m3/min以上。若使用高负荷机柜,则出风量也应相应加大。

(2)根据机房室内状态点及热湿负荷,可由湿空气焓湿图确定送风状态点。进而得出空调机组供冷量、再热量、加湿量及送风量。按相关规定,送风温差宜控制在6-10℃。

(3)大型数据中心机房空调适合长边侧进风,不宜短边侧进风。下送风走向与机架走道同向,不宜与架间走道垂直。

(4)建立冷热通道围栏系统。为进一步阻隔冷热空间的混和,可利用隔热能力强、熔点高的隔板,一方面密封热通道的两边出口,另一方面包围冷通道的整体范围,使冷空气与热空气隔绝,以便更好地调节机架内的空气温度。

(5)当机柜内设备的发热功率密度明显过大,无法通过机房大环境中冷热气流自然对流方式解决时,为加快机柜内热气的排走速度,可选择在底部和后部加装强迫散热装置的机柜,如安装轴向水平的强排风扇。

3、合理布置机柜机架,提高设备散热效率机柜气流和机柜设计改进冷却效果的关键因素。机柜对于防止设备排出的热气短路循环至关重要。对于水平方向进出风方式,气流组织设计应尽量将冷气送到所有数据设备的前方位置。采用标准机柜和盲板可以大幅减少气流短路比例,能消除机架正面的垂直温度梯度,并确保冷空气在机架上下配送均匀。下送风机房机柜前后门的设计应符合最佳制冷效率的要求,有2种方式可选择:

(1)前门完全密闭,不做通风孔;后门通风网孔大小为Ф5,后门通风率30-40%,这种方式,由机柜底部调节的开口,在机柜内设备正面送冷风,由后门和机柜顶部散热;冷风通道完全在机柜下方。

(2)前后门底部起1/2密闭,不做通风孔,机柜上部1/2为通风散热部分,通风网孔大小为Ф5,通风率30-40%,这种方式主要出风口在机柜的底部,同时可以在机柜列间通道开辅助送风口,在机柜内设备正面送冷风,由后门和机柜顶部散热。冷风通道在机柜下方和机柜列间通道。机柜内数据设备与机柜前、后面板的间距宽度应不小于150mm。机柜层板应有利于通风,为避免阻挡空气流通,层板深度应不大于600mm。多台发热量大的数据设备不宜叠放在同一层板上,最下层层板距离机柜底部应不小于200mm。把热负荷最大的设备安装在机柜中部位置,以便获得最大的配风风量。机柜底部采用活动抽屉板,随设备多少,改动冷气入口大小。机柜底部后半部堵住,阻止冷空气从底部向后面流去。

三、加强数据中心维护管理

一旦冷却系统设计安装完成,为保证系统的高性能,进行后续检查工作是很重要的。更重要的是,要维护回风管道的洁净。很多因素都会降低现有冷却系统的运作效率和功率密度能力。故在日常维护管理注意以下几点:

1、进行"健康检查"。

确保总的冷却能力满足所有IT设备的需要;检查所有风扇和报警装置是否运行正常,确保过滤器的清洁状态;检查冷却器和外部冷凝器及初级冷却回路的状况;检查数据中心通道中重要位置的温度;记录每套机架底部、中部和顶部的空气入口处的温度;检查可能影响冷却性能的机架间隙或多余的缆线。在机架中安装挡板,实行电缆管理制度。

2、启动冷却系统定期维护制度。

3、将高密度机架分开。如果高密度机架聚集在一起,则大多数冷却系统的冷却能力都不够用。

4、根据各数据中心机房的设计数据和后期整改情况,明确规定各机房的机架最大用电量、机架最多上架服务器数量和服务器安装间隔等强制性要求。

5、主动定期测试各机柜排风侧温度以便进行调整各机柜送风量及方向,及时根据装拆动态情况调整各机柜进风量。

6、服务器的风扇尽可能低速转,尽可能让冷空气在服务器待的时间长,提高温升,温升若能达到13℃以上最好。

四、解决散热难点的方法和策略

1、应用高密度机柜和刀片服务器的解决方法:

(1)分散负载。

(2)安装气流辅助装置。在有足够冷却能力,但却存在局部热点的场合,可以安装特制的(栅格式)地板或风扇增强对机柜的送风。也可安装特制的回流管道或风扇增强回风能力。

(3)设定专门的高密度区,提供较强的制冷及散热能力。

(4)全房间制冷。为机房内每个机柜提供能够可能达到的功率峰值提供电力和散热的能力。这种解决方案成本很高。此外,每个机柜的整体机柜功率密度超过6kW的数据中心进行设计需要极复杂的工程设计和分析。这种方法只有在极端情况下才是合理的。