红帽:建立大数据开源生态系统

开源领域的一杆大旗红帽公司于2011年10月以1.36亿美元收购了开源存储软件提供商Gluster。Gluster的产品主要用于管理海量非结构化数据,由此红帽开始了在大数据领域的布局。与其基础设施供应商的定位一脉相承,红帽主要在数据的存储管理和数据访问层面为用户提供高性能、可扩展、开放的解决方案。

收购Gluster发力大数据

根据Gartner的研究报告, 非结构化数据到2020年将增长44倍, 而在所有新增长的数据里, 非结构化数据将占到80%的比重。

数据存储市场目前仍由大型闭源厂商控制,一方面随着数据量的迅猛增长单位存储的价格并未见降低, 另一方面, 存储市场已经成熟到可以日用品化—红帽公司的产品和解决方案是突破性的并为市场带来了日用品化的契机。红帽公司的大数据解决方案的特点是: 开源, 纯软件,运行于便宜的PC硬件上。

红帽技术总监忽志刚介绍指出,红帽在北美已经发布了包含Gluster产品的最新版本数据存储管理解决方案Red Hat® Storage Software Appliance 3.2。同时,红帽也在对Gluster相关的技术和产品进行进一步研发,以便更迅速地满足用户对红帽在大数据存储管理以及云计算领域的期望。目前Red Hat® Storage Software Appliance 3.2在北美已经拥有多个具备巨大影响力的用户,在经过一系列市场推介和反馈之后,红帽将会向全球各个国家进行推广。

“Gluster在大数据存储管理和访问层面表现非常好,Glusterfs是一个开源的,高度可扩展的分布式文件系统和对象存储服务器,其专利化技术与架构极大提升了数据寻址访问的速度,同时消除了其他大数据系统常见的单点故障,数据冗余负荷与无限扩展的瓶颈。国内数家高技术公司目前也在投入时间和精力研究红帽的产品, 并将Gluster作为其软件基础架构重要组成部分。”

另一方面,红帽也在基于Gluster建立大数据的开源生态系统,这与其对待云计算、虚拟化等其他技术趋势的战略思路是一致的。红帽提供高效存储、易于扩展的架构,使数据可以有效管理、快速访问。在数据分析利用的层面,红帽则更多依靠合作伙伴的配合来提供完整的解决方案, 通过完善的生态系统促进企业对大数据的快速处理与应用。“在大的生态系统里,仅靠一家公司的力量做所有事情是不可能的,在不同的应用场合需要有不同的解决方案。”

Hadoop 作为一个大数据处理的软件框架,得到了广泛的应用,它通过并行化技术,利用多台节点的计算资源来解决单个节点能力所不能及的问题,使大数据的处理变得容易且规范。红帽基于开源的大数据解决方案和Hadoop可以说是非常完美的合作伙伴。Gluster可以和Hadoop配合,Gluster提供大数据的存储管理与访问,Hadoop提供计算框架,企业和组织的应用人员可以基于Hadoop快速实现分布式的访问和处理。Hadoop本身的重心在于分布式数据处理,红帽Gluster可以作为其底层的有力支撑,两者结合起来是优秀的的基于云计算的大数据处理解决方案。

大数据适逢云计算

企业数据规模在呈几何量级增长,红帽希望在数据存储管理、访问层面为用户提供开源的解决方案,尤其是在云计算环境下,将其作为客户最基础的设施。“IaaS、PaaS平台以及SaaS应用需要大量数据的支撑,包括用户数据、应用数据、系统数据、管理数据。这些大规模并增长迅速的数据在云计算的环境下如果没有良好的基础设施的支撑,很难想象能被很好的应用,企业要么淹没在数据之中,要么从数据之中得到有益的信息以支撑业务的增长。”

云计算为大数据的存储和处理提供了良好的平台,可以在短时间内调动众多资源处理大数据。云计算强调的是对计算资源的整合,在云计算出现之前,要在短时间内部署大规模的计算资源是很困难的事情。云计算的到来也使得数据存储与处理的需求显得更加迫切。不过,用于大数据处理的并行技术(如Map/Reduce)的发展是相对独立于云计算的。

另一方面,大数据对云计算提出了更高的要求,如大规模的云存储。同时大数据处理将更多的应用带到云上,也在推动云计算市场的发展。忽志刚说,云计算和大数据关注点不同,有朝一日大数据与云计算充分融合也不是一件令人意外的事情。红帽公司正在领导着云存储的变革,目前红帽公司提供着唯一高可用的公共云云存储解决方案。基于Gluster的云存储解决方案使得红帽的开源云计算解决方案变得更为坚实完整。

大数据开辟新的利润增长点

对于拥有大数据资源,以及日常运营不断产生大量数据的商业企业来说,建立企业的大数据战略是必要的。这个战略包括大数据的产生与搜集、存储、访问、处理、分析与应用等多个方面, 其目标在于如何利用不断扩大的大数据资源,发掘更多的商业利益。

他指出,一些电商企业市场规模已足够庞大,系统里拥有大量用户数据,对客户行为进行分析展开推介活动,能够帮助企业做到精准营销。这是基于对客户的历史购买习惯,以及类似客户群的购买行为做出的分析。

对于商业企业而言,大数据战略的成功可以为企业开辟新的利润增长点。未来很多企业会不可避免的在当今这个信息爆炸的社会接触到或拥有越来越多的信息。信息的处理与应用将成为企业成败的关键。今天的商业模式已经发生变化,如果不能在信息的海洋里发现对企业有用的信息,据此作出商业决策,企业将很难获得成功。

红帽通过为商业用户的大数据应用提供高性能、高可靠性、高扩展性的存储和访问,让大数据相关应用的实现变得简单、可靠、高效,有力提升了红帽作为云计算(IaaS和 PaaS)、虚拟化、数据中心技术提供商的整体解决方案和服务能力。