随着微软、英特尔的入局,Hadoop生态系统的发展正呈现两大趋势:竞争升级和“SQL化”,这些都将推动Hadoop企业应用市场的加速成熟。
上周大数据市场”地震”不断,先是Hortworks和微软宣布推出Windows版Hadoop,无缝整合SQL Server和Hadoop;随后2月26日EMC Greenplum推出全新的Hadoop版本——Pivotal HD,将旗舰SQL数据库MPP与Hadoop嫁接,EMC还在发布会上宣称公司”全部的力量都集中在Hadoop上”;紧接着第二天2月27日英特尔宣布推出自己的第一个Apache Hadoop发行版本以及Hadoop管理工具。
英特尔的加入让Hadoop发行市场的竞争更加激烈,同时也表明Hadoop市场蕴含着巨大的商机。目前Hadoop发行市场有六个主要的竞争厂商,四家创业公司:Hortonworks、WANdisco、MapR和Cloudera,以及两大IT行业巨头:EMC和英特尔。
英特尔:Hadoop生态的牧羊犬
很多人都知道英特尔是全球最大的芯片厂商,其实英特尔也是全球第七大软件厂商,因此英特尔涉足大数据软件市场的消息并不令人吃惊。此番英特尔借助 Hadoop进军大数据市场主打的是性能牌。作为针对Cloudera和Hortonworks等Hadoop发行商的竞争策略,英特尔的Hadoop方案主打的是性能牌。
英特尔是首个将大数据与SSD固态存储技术整合起来的Hadoop发行商,此外英特尔还改写了Hadoop框架,使其支持Xeon升级运算加密指令集AES-NS,一方面提高数据运算速度,还能再数据存储到HBase的过程中使用芯片原生的加密功能。英特尔还宣称通过改写HDFS、 MapReduce和HBase将SQL指令的查询速度提升了8.5倍。
但是需要指出的是,英特尔的Hadoop战略并非是要击败竞争对手一家独大,而是通过技术创新和性能优化对其他大数据发行商施加压力,推动企业级大数据方案的成熟,进而推动Hadoop总体市场规模的成长,由于所有的Hadoop发行版都运行在英特尔的硬件架构上,因此Hadoop生态的繁荣最终对英特尔有力。如果把Hadoop发行商比作羊群,英特尔更多扮演的是牧羊犬的角色。
问题思考:NoSQL的未来是SQL?
EMC Greenplum推出的Hadoop发行版Pivotal HD
长期以来,Hadoop进入企业级市场的最大障碍就是技术复杂性,企业很难找到那些了解分布式计算,能够用Java编写MapReduce任务的数据分析师。因此,将SQL与Hadoop整合是大数据厂商们多年来致力解决的一个重要议题。最近半年来SQL与Hadoop的整合取得了重大突破,包括 Hadapt、Greenplum、Concurrent、Coudera、Hortonworks和Teradata Aster都已经能够提供面向Hadoop等NoSQL数据库的SQL功能。而上周Hortworks和微软推出Windows版Hadoop以及EMC Greenplum推出的Hadoop发行版Pivotal HD则代表着Hadoop与SQL整合的最新阶段。
通过向Hadoop以及其他NoSQL数据提供SQL或类SQL界面工具,大数据厂商们正在不但降低企业使用Hadoop技术的门槛。而作为SQL颠覆者的NoSQL,最终进入企业市场赚取真金白银时,依然需要”SQL化”,这多少有些讽刺意味。