自主研发 达梦DM7揭开国产数据库新篇章
江南 发表于:12年05月22日 16:39 [来稿] DOIT.com.cn
锐意突破,国产数据库揭开新篇章
虽然,国产数据库的发展态势令人欣喜,从2008年开始,达梦通过前期的市场积累,已接触到一些更高端的应用。当时已推向市场的DM6产品在中小型应用上已能满足需求,但DM6在更大数据量的条件下的检索效率已开始表现的吃力,而且可优化的地方有限,已明显的碰到了性能上的瓶颈。
达梦公司副总经理周淳表示,更为关键问题在于,这已不能通过简单的和局部的调整来显著提升性能,只有通过对底层架构的改造才能实现突破。在这种条件下,公司下定决心,投入人力物力,开始研发新一代的数据库产品。
周淳介绍到,从DM4到DM6,历经6年左右的时间,达梦公司为了满足各种实际应用的需求,特别是与oracle等产品兼容的目标,增加了非常多没有预先考虑的功能。这些后续添加的功能使系统开始变得臃肿,复杂度急剧上升,可维护性降低,修改成本明显上升,而在实际应用中也始终无法很好的实用化。因此,DM7在总结之前所遇到的各种需求,结合当前“云计算”、“物联网”提出的新的需求,从底层重新编写底层结构,保证系统内核的简洁高效,保证系统的健壮性和可维护性。
随着信息技术的不断发展和应用的不断扩展、深入,各行业、领域的用户对数据库提出了新的需求。
达梦数据库有限公司董事长冯玉才介绍,这些需求主要表现在:随着互联网等技术的发展,非结构化和半结构化数据所占数据的比例越来越大,信息结构类型越来越复杂,要求更强的信息处理技术,需要高级分析工具来创建或利用一种更易于人们感知和交互的结构;海量数据的产生大大增加了用户对海量数据处理技术的需求;同时,应用模式的改变使得用户查询需求复杂化,提出了对大规模并发信息进行处理的需求;共享的商业模式对数据库的安全性提出了更高的要求。
面对不断涌现出的新需求,达梦打造了新一代大型通用商业云数据库管理系统DM7,旨在构建一个统一的、对各类数据库的调用平台。
DM7最突出的特新表现在,它采用了完全对等无共享(share-nothing)的MPP架构,支持SQL并行处理,可自动化分区数据和并行查询,无I/O冲突。
说起DM7所采用的MPP技术,冯玉才自豪地说:“我们的MPP技术一点也不比国际同行的RAC技术逊色。” MPP系统工作起来就像是一台单独的计算机,由于采用自动化的并行处理技术,执行速度比传统的单节点数据库大大提高。具体来说,DM7具有六大特色:
第一,大规模并行处理。DM7的MPP架构最多可以同时部署1024个节点,采用统一的并行操作数据库引擎。由于数据分散在不同的数据库节点上,因此在高速的内部网络环境下,可极大减少海量数据的并发查询的I/O,从而提高查询效率。
第二,自动化并行。DM7的MPP架构提供数据存储和查询的自动化并行,插入的数据会被自动分区保存到相应的节点,查询时在各节点的数据库引擎上并行执行查询,并将所有结果数据自动汇集到主查询节点上,数据无共享和I/O冲突。
第三,可靠的数据保护机制。DM7提供了数据守护系统,满足用户对数据可靠性、安全性的需求,解决由于硬件故障、自然灾害等原因导致的数据库服务长时间中断问题,提高系统的可用性。MPP系统中的每个节点都可配置数据守护系统,增加节点数据的完整冗余镜像。节点和镜像节点之间可以互相转换成MPP中的工作节点。
第四,支持列存储。在数据仓库、数据挖掘等查询密集型应用中使用列存储表,在查询只需要少数几个字段的时候,能大大减少I/O。同时,列存储也利于使用设计更好的压缩/解压算法,进一步减少存储空间。
第五,功能齐全。DM7的MPP系统和单节点数据库相比,几乎没有任何功能上的限制,支持触发器,支持存储过程、系统函数、复杂查询等。由于功能齐全,配置也不繁琐,从用户的体验来看,整个系统显得更加透明、简单、易用。
第六,可实现高速数据加载。数据加载可完全并行,所有节点可同时读取数据,然后根据散列算法,将属于自己的数据留下,将其他节点的数据通过网络直接传送给目标节点,实现高速数据加载。
DM7实现的MPP系统功能,为新一代数据仓库所需的大规模数据和复杂查询提供了先进的软件级解决方案,具有业界先进的架构和高度的可靠性,能帮助企业更好地管理数据,使数据更好地服务于企业,从而推动数据依赖型企业的更好发展。
DM7是达梦数据库乃至国产数据库发展历史上具有里程碑意义的产品,也是达梦人30多年技术积累的集中展现,它首次实现了对国外数据库安全性能的超越,达到了目前国产数据库最高安全级别。DM7将揭开国产数据库新篇章,打开新的市场局面,为我国信息化建设的快速发展和信息安全提供强有力的保障。