宿迁,是江苏北部的地级市,别称水城,是沿海地区向中西部辐射的重要门户城市,徐州都市圈、江淮生态经济区核心城市,一带一路节点城市、淮海经济区中心城市之一。
因为京东的出现,宿迁现在也拥有了新的身份:中国重要的电子商务中心。
我们知道,因为电商与云计算的技术后台有太多相似之处,所以云计算成就了亚马逊的AWS,和阿里云。超级电商必然成就超级云服务商,所以2018年,全新的品牌logo亮相以后,京东云向着超级云服务商的地位发起了冲击。
而超级云必有超级云数据中心,位于宿迁的京东华东数据中心,不仅承载了京东自身的电商业务和物流业务,还辐射周边产业,成为了宿迁政务云的技术底座。
在京东云华东数据中心媒体开放日的活动中,我们进一步走进宿迁,走进京东云,一探超级云数据中心背后的神秘。
从设计到建设的长远布局
在京东云华东数据中心参观的过程中,接触到形形色色的京东人,包括现场讲解员,工程师,深刻感受到这些宿迁人,有机会通过数据中心的技术输出,服务于本地数字经济的自豪感。
从整体上看,京东云华东数据中心建设于2015年,总投资35亿,一期投资15亿,二期计划投资8至10亿,现已投入6亿,整个园区占地200亩左右,相当于19个足球场大小,是京东云骨干网络节点核心数据中心之一。
我们知道,数据中心的设计当中,选址时就必须考虑到能耗和成本的问题。所以,京东云华东数据中心选址在了宿迁湖滨新区的骆马湖畔,气候上全年平均气温14度,自然条件有利于数据中心节能减排。同时,区内地表水系十分发达,河渠纵横,有京杭大运河穿境而过,北倚骆马湖,南临洪泽湖,水务资源极其丰富,为数据中心提供了充足的水源保障。
而从电力保障方面,宿迁处于西电东输和年发电量140亿度的田湾核电站的高压走廊,能源及电力供应充足,具有高质量的输电网络和充裕的供电能力。这是基于这些区位优势,和电力以及成本优势。很显然,京东云华东数据中心从建设之初,就已经向着超级云数据中心的方向在规划和布局了。
从目前,建设的情况看,京东云华东数据中心整体由4个规模相当的云数据中心模块和1栋综合大楼组成。
在现场,我们发现这四个云数据中心模块,均由层高7.5米的单层建筑组成。这样设计的好处在于:服务器和机柜等设备不受电梯限制,可直接推入机房,安装部署效率更高。同时,数据中心机房采用地板下送风设计,承重仍可达到每平方米1吨,无需考虑扩容后的楼板和支撑加固问题。
单个数据中心模块的建立面积为6万多平米,总机柜数1138个,分别布置在10个模块机房内,4个标准模(4KW)、3个高密模块(8KW)2个网络传输间,和1个微模块(12W)机房,总能存放约4万5千多台标准服务器。关键在于,每个数据中心模块内部由这些小模块组合而成,并且可根据使用需求灵活布置、调整模块内容。
据介绍,1号模块于2016年年初投产运营,现有业务包括京东云,京东商城,京东数科及宿迁市政府、中国联通、中国电信等。其他模块也将在近期陆续投入运营。
从可靠到节能的细节思考
数据中心承载着客户最核心的价值数据,所以数据中心的安全和可靠的运行,也一直是对数据中心最核心的要求。
第一,电力保障方面,京东云华东数据中心设计了三重保证。
首先,京东云自建了纯双路110KV专用变电站。双路的好处是,当其中一路检修或发生故障时,另一路完全满足园区内所有设备的正常用电需求,形成了电力供应上的基本保障。
其次是双路UPS,其中两个生产机房和两个网络机房电子的供电模式为2N,其余六个生产机房的供电模式则为N+1。单台UPS后备蓄电池支撑时间均不小于15分钟。
最后是N+1柴油发电系统。京东云为每栋机房楼配置2200KW发电机组作为后备电源,具备连续满载12小时的运行能力。具体说来,共8台柴油发电机,分布于两个房间,N+1配置,45秒启动,90秒到末端负载。
举个例子,当一路市电电源故障时,110KV变电站内10KV母线联络开关动作,故障回路负荷均由另一回路承担;当两路市电电源均发生故障时,机房模块内负荷由UPS蓄电池供电,同时备用柴油发电机组启动,向机房模块、空调冷源、照明等负荷供电,由此构成三重供电保障。
第二,在绿色节能方面,对于数据中心来说,日常成本中的60%来自于电费,所以如何建设绿色节能的数据中心,是第一大挑战。
之所以选址宿迁,其实也有节能方面的思考。宿迁可利用的室外自然冷源的条件比较充足。为了充分利用冬季室外天然冷源进行自然冷却,冷冻水系统设置了板式换热器,与冷水机组并联。京东云还增加了一套自主设计的气候环境采集控制系统,完全实现了制冷系统根据室内外环境温度、湿度、系统负荷大小、平滑连续的调节各组件运行状态,始终保持系统在最佳的效率区间。而且全年可以”免费“使用自然冷源的时间高达180天以上,直接节约电费数百万元以上,做到最大程度上的节电。
京东云华东数据中心一直将绿色环保的理念贯穿于整个生命周期,最大PUE<1.4,环保措施远远高于传统机房,能效达到国内一流水平。
第三,数据中心发展趋势正呈现运维服务对于任何一个数据中心运营来说都是一个复杂而又艰巨的工作,而京东云华东数据中心提供了全天候、全数字化的监控,确保了数据中心的100%无忧运维,让业务永远在线。在京东每年618这样的流量洪峰当中,京东云数据中心都成为了业务永续背后的“无名英雄”。
第四,算力是衡量一个数据中心绝对竞争力的关键指标,京东云已经将数据中心的产品架构整体进行了迭代更新。硬件方面开发了多样性的产品创新,比如新一代云主机、云物理机、GPU云主机、GPU云物理机、云硬盘、原生容器、高可用组等等。因为这些技术基础,京东云面对突发流量实现了秒级扩容,平稳、安全地度过了数次订单洪峰。
据我了解,目前京东云也在与INTEL微软数据中心技术进行广泛的产品创新。例如在计算方面:围绕INTEL的CPU进行定制化,自研JD的整机柜服务器开发,以及JD业务线上CPU性能联合进行分析优化;在存储方面:围绕INTEL SSD技术的研究与合作,高性能存储方案场景挖掘和低成本存储方案在JD的应用场景挖掘;在AI方面:围绕Intel Nervana GPU和CPU VNNI加速方案的场景化挖掘和DCM技术的智能IDC运维技术研究合作;在网络方面:围绕JD&INTEL智能网卡联合开发与合作,针对RDMA、Adq以及DPDK等性能优化方案的场景挖掘。
总体而言,京东云华东数据中心为我们展现了一个超级云数据中心应该有的样子,作为京东电商业务的内部支撑,和政务云等行业应用的数字底座,京东云也证明了超级云必有超级云数据中心的意义。
为什么超级云必有超级云数据中心
我们知道,数据中心是云计算、AI时代的硬核,有了数据中心的支撑,互联网、云计算才得以高速发展,冰冷的数据中心如同高铁之于国计民生,作为云和人工智能的底座,承载着这些新技术与行业创新相结合的使命。
首先,一个有全局化视野的云服务商,当然需要一个全局化的数据中心布局。目前,除宿迁数据中心外,全国范围内,京东云公有云目前已完成4区域 、10可用区(华北北京、华东上海、华东宿迁、华南广州)的整体布局,另有数十个遍布全国的IDC设施。未来,京东云将积极扩展布局自建数据中心,满足合作伙伴数据中心转型等多维度需求。
其次,作为一个超级云服务商,京东云尽管开放的要晚一些,但从数据中心的维度来看,无论是服务器的规模上,节能环保的技术领先,还是未来的全局规划至少不输于其他云服务商。
第三,京东云华东数据中心通过宿迁政务云的项目,形成了很好的行业积累。凭借宿迁市大数据中心,京东云还荣获了“可信云十大用户奖”,通过工信部“政务云综合水平评估”(先进级)和“可信政务云评估”。并入选IDC测评全国6大政务云典型案例、信通院《中国政务云发展白皮书》优秀案例,可信云全国十佳政务云、工信部全国百家大数据优秀案例等等。
可见,以京东云数据中心的技术能力为基础,京东云已经形成了完整向各行各业输出数字化技术的能力集。
第四,数字经济本身会有一种“溢出”效应,而数据中心作为科技创新和技术应用的实体,已成为各行各业信息化发展的关键基础设施,为数字经济发展提供了有力支撑。以数据中心为原点,也会形成产业生态的升级。
例如,宿迁就借助京东影响力和生态资源,吸引大批上下游企业以及同类企业入驻宿迁,形成电子商务产业集群,做到了本地化的产业升级,推动了向数字经济转型。当越来越多的行业客户通过京东云数据中心提供的平台服务、基础产品和干线平台,走向数字化转型。京东云也证明了,为什么超级云背后必有超级云数据中心的意义。
【文/郑凯】