近日,南大通用再次刷新国内MPP数据库集群记录。由其构建的国产新型大数据平台规模由之前的80节点提升到120节点,平台数据处理量达到真正的PB级,万亿条数据处理可在小时级水平完成。这是继2013年国内首个超大规模行业大数据平台问世以来,南大通用在国产数据库领域实现的又一次技术飞跃。
围绕行业大数据应用构建全数据处理基础软件平台,MPP数据库及其计算框架是核心组成部分。Gbase行业大数据大规模集群处理平台,主要面向电信、金融、安全和政务等行业的经营分析类业务场景,对海量的结构化和半结构化数据进行高效存储、管理,并对上层应用提供统一的数据服务接口支撑。与拥有海量非结构化数据的互联网及电商企业使用Hadoop构建大数据平台不同,MPP技术在保证关系数据库强一致性要求的同时,可实现复杂的大表关联等分析功能,更好地满足电信、金融等行业对大数据分析类应用的需求。
Gbase新型大数据平台是目前国内外唯一达到百节点以上的单一数据库测试平台,在120台国产中高端服务器上部署Gbase 8a MPP Cluster单一集群,使用万兆网络互联,支撑PB级数据查询与分析处理,整体运算能力和数据吞吐能力达到20TB/小时。采用Gbase 8a MPP Cluster分布式并行数据库集群构建新型大数据平台,南大通用不仅能帮助用户解决数据“大”的难题,还能实现数据“高”的价值。
高速度:处理万亿条数据在小时级水平完成,数据加载性能每小时平均几十TB;
高可用:系统稳定性高,千并发级可平稳运行,出现问题节点可快速恢复;
高扩展:可动态扩展运算节点,且查询性能保持良好的线性增长;
高价值:成本低廉,使用X86服务器 + Linux + SAS磁盘,系统扩展能力从容应对数据膨胀挑战。
Gbase新型大数据平台采用自主可控的全国产软硬件搭建,已完成内测并实现稳定运行,是目前国内唯一能够支撑多行业大数据应用的通用可靠平台。电信运营商已率先启用Gbase新型大数据平台进行全国经营分析业务的集中测试,系统实测800TB万亿条数据处理可在小时级别完成。南大通用下一步将大数据平台的测试与应用扩展到金融、国防、安全、海关、税务等关系国计民生的行业中。
基于新型大数据平台的成功搭建,南大通用近期已启动企业测试培训中心的筹建工作。测试培训中心现阶段主要服务于行业用户与合作伙伴,为其提供专业的大数据技术咨询、系统软硬件平台测试及定制化培训等一体化解决方案。未来中心将发展成为产学研用的技术孵化器,面向科研机构、高校及全产业链开放。