南京是我国华东地区的第二大城市,国家区域中心城市,江苏省省会,华东地区重要的政治、科教、文化、工业和金融商业中心,国家综合交通枢纽。南京历史悠久,有着超过2500余年的建城史和近500年的建都史,是中国四大古都之一,有“六朝古都”、“十朝都会”之称。早在2006年,南京市就在紧密跟踪世界智能城市发展理念和实践进程的基础上,开始积极研究和探索新形势下南京特色智慧城市的发展道路,紧密跟踪物联网、云计算等新兴技术领域的发展动态,为“智慧南京”工程的整体实施打下了扎实的基础。
怎样应对云计算时代的海量数据处理
南京市信息中心最近几年发展非常迅速,每年都有非常多的数据中心项目上马,而且新应用部署非常多,信息中心的领导们清醒地意识到,当前多个项目能源消耗大、占地要求也非常高,由于原有的网络设备难以满足新增的需求,网络的设备经常会更换……类似情况在南京市信息中心普遍存在。
与此同时,随着南京城市交通逐步走入智能化,南京市正在筹备“智慧的交通”系统建设。原有系统已经无法满足全新形势要求,南京市信息中心IT架构面临严峻挑战:
1、 各类交通信息采集量大,原有服务器利用率低,资源浪费严重。南京市交通需要对120万辆机动车电子卡、4万辆机动车实时GPS定位数据、200万笔公交IC卡数据、518个高清卡口的数据进行采集。庞大的结构和非结构化数据需要与之相关的业务系统在硬件支撑环境等各方面的高度整合。旧系统各类资源的使用效率偏低,尤其是各种竖井式系统的重复搭建,导致服务器数量庞大,单台服务器的资源利用率长期处于偏低的水平。
2、原有系统无法满足信息中心保存全市卡口两年产生113亿张图片的整合和1分钟调取时间需求,资源无法共享和整合。空间问题凸显,设备众多,用电压力不断增大。原有项目建设方式形成的的竖井式系统累计起来占用了大量的空间。设备、服务器众多导致用电方面压力巨大,既不绿色环保,同时导致后期运行成本过高,造成较大的运营压力。
3、各种应用系统的服务水平参差不齐,缺乏统一管理,无法满足南京市信息中心对于智慧交通信息分析的需要。尤其是数据资源没有实现集中共享,各种应用对外提供的服务功能单一简单,难以满足社会管理、经济模式发展转变等发展的需要,因此数据中心的建设必须需要更高的服务水平,满足新形势下的应用和发展需求,从而支撑城市交通运营分析数据库的建成、不同纬度城市交通状况呈现、各类交通基础设施管理和监控并指导未来交通发展。
3、南京市信息中心需要对现阶段内外网的100个网站进行整合,创建南京市第一信息发布平台,并对网站实时统一绿色管理。原有系统每个都有独立的接入界面、数据库、服务器、存储,甚至是独立的访问权限管理,缺乏统一管理界面,大大浪费人力资源。不仅无法满足南京市信息中心的整合需要,某些情况下还可能会带来一些安全问题。数据中心建设上需要更高的可靠性,要保证好各种应用系统的不间断运行和数据的集中存储,同时也要保证数据信息的安全可靠,这些都对数据中心提了更高的要求。
多年来的飞速发展给南京市信息中心带来了更多的设备和资源,虽然计算能力和业务处理水平在不断提高,但海量的硬件设备却给管理带来了巨大的压力。相互独立的数据库、服务器和存储,以及不同的访问权限,再加上没有统一的管理界面,让数据中心的效率大打折扣,同时也极大地浪费了宝贵的人力和其他各种资源。
南京市庞大的城市交通网络需要1000路高清视频接入与存储,其中200路高清视频的转发,检索时间需要达到秒级;设备必须具备9Mbps视频峰值码流,以及4GB每秒I/O吞吐能力,从而保证视频流的实时无损传输和存储。
最高3GB/s的视频存储峰值带宽,存储容量则将达到1200TB,仅视频存储一项就相当于南京过去十年的数据总量!32路并行转码,实时转码满足不同检索终端,则能够实现iPad与iPhone等移动设备的应用。这一切看似遥不可及的苛刻需求,在整合了zBX刀片服务器的IBM zEnterprise大型机的支持下得以轻松实现。
智慧南京项目以世界先进的IBM System z系列主机为基础,采用“云计算”框架虚拟化设计,实现了智能交通和政务网站整合。南京市信息中心构建了一套先进的智能交通系统,用来监察和管理全市交通状况,该系统能为未来城市交通信息分析构建一个平台。各种应用也能以按需方式,通过网络,方便地访问数据中心系统中的可配置计算资源共享池,同时数据中心以最少的管理开销,迅速配置提供或释放资源,达到资源的最优配置。
首先,南京市信息中心拥有高度灵活性和可扩充性。未来根据业务应用的变化快速实施系统资源的升级,可以在不停机的状态下横向或纵向扩展,并且不会导致架构发生根本性变化,为不断产生和变化的政府部门需求提供持续的支持,为将来系统的扩展留有充分的扩充余地。通过虚拟化技术,南京市信息中心实现了即时增容,而且通过提供公用化模块,使得业务系统更容易开发和调整,另外在管理模式上更加容易创新,可以采用外包管理等模式,让南京市信息中心能够将精力和资源集中在核心业务上。
其次,高性能的处理能力与I/O。IBM System z系统中拥有业界最新最强大的5.2 GHz微处理器芯片,凭借IBM的技术和全新的执行序列,IBM System z系列主机可实现极高的性能,完全不是其他体系架构系统能够比拟的。通过端到端管理功能和适用于异构工作负载且基于策略的框架,IBM System z系列主机成为企业的控制中心。南京市信息中心拥有能够根据高度集成的大型机、POWER7,以及System x计算环境中的个人工作量需求优化技术部署的集成系统,从而能够满足各类应用需求的延伸和拓展。
再次,南京市信息中心的zEnterprise服务器所配置的z/VM是业界最强大的虚拟化软件,可以支持上千个虚机。zEnterprise所配置的统一云管理软件URM,它能够提供统一的管理视图和管理机制,简化在多套异构业务系统环境下系统的运营维护工作。zEnterprise支持大型机架构、Unix架构、Linux架构和windows架构,能够优化承载各种不同类型业务应用。zEnterprise支持92个以太网口,320个存储连接通道,1024个并发逻辑通道和255k(约26万)个I/O设备物理地址。
最后,高安全与可靠性。作为南京市政府智能交通的重要项目,数据中心的稳定性与可靠性必须得到保证。方案中使用的zEnterprise是惟一达到安全级别认证EAL5的商用计算机。zEnterprise配置了2颗备用处理器,当激活的处理器出现故障时可以自动接管任务,确定各种应用不会宕机。zEnterprise平均无故障时间为30年,大幅度领先于其他体系架构。基于主机的高可用性,通过TSAM可以灵活制定服务监控策略,近乎“透明”的恢复时间,可以支持多个平台。
诸如此类、不胜枚举的各类特性,使得南京市信息中心最终决定采纳IBM System z的重要原因。
本次方案中的存储部分采用了运行稳定、性能领先、技术成熟的SAN网络架构,具有很好的稳定性,能为前端各应用提供可靠的数据存储平台,整个SAN网络中的部件都配置了双冗余组件,保证任一部件的损坏不会影响整个系统的运行;对于关键的图片和ECM索引等数据,在OS层做了基于LVM的镜像,保证了即使有一台存储系统整体故障,也不会影响图片应用的正常运行;关键数据库的数据都制定了合理的备份策略,定期将数据备份到物理磁带上,保证数据的安全性。
南京市信息中心整套方案具有极高的灵活性及可靠性,在性能方面也提升至了一个全新的高度,实现了上千路高清视频的接入和管理,同时在存储方面也做到了高效和绿色。业界顶级的z196大型机搭配zBX刀片以及定制化的高速存储设备,让整个交通系统形成了一套高效的网络,打造出最稳定、最可靠、最安全的运行环境,也是政府云计算落地的完美体现之一。