大数据领域的十大开源技术

根据最新的思科全球云指数报告，预计到2017年年底，全球数据中心年均IP流量将达到7.7ZB。总体而言，数据中心IP流量在2012年到2017年之间将以25%的复合年均增长率(CAGR)增长。

现在增长的速度更快，而且组织需要依靠大量的数据集帮助它们运营、量化和发展业务。在过去几年里，大型数据库经历了从GB到TB再到PB级的发展过程。

此外，数据也不再是存储在一个地方，随着这些数据的增长以及云计算的发展，这些数据实现了分布式存储。

几乎所有行业都在发展大数据和数据科学

科学：大型强子对撞机每秒大约进行6亿次碰撞。因此，只有当传感器流数据小于0.001%的时候才有效，从四个大型强子对撞机实验中产生的数据意味着每年将产生25PB的数据(统计于2012年)，此外备份还会产生大量数据，备份后的数据有可能达到200PB。

研究：美国航空航天局的气候模拟中心(NCCS)在其超级计算机平台上存储了约32PB的气候观测和模拟数据。

私有/公共：亚马逊每天处理的后端操作达数百万，此外还有超过50万个第3方卖家的查询操作。亚马逊的核心技术运行在基于Linux的数据库系统上，截至2005年，亚马逊拥有世界上三个最大的Linux数据库，容量分别达到了7.8TB、18.5TB、24.7TB。

组织被迫寻找新的创造性方法来管理和控制如此庞大的数据，目的不只是为了整理数据，而是要分析和挖掘数据来进一步发展业务，因此，一些开源大数据技术值得考虑：

Apache HBase：这个大数据管理平台建立在谷歌强大的BigTable管理引擎基础上。作为具有开源、Java编码、分布式多个优势的数据库，Hbase最初被设计应用于Hadoop平台，而这一强大的数据管理工具，也被Facebook采用，用于管理消息平台的庞大数据。

Apache Storm：用于处理高速、大型数据流的分布式实时计算系统。Storm为Apache Hadoop添加了可靠的实时数据处理功能，同时还增加了低延迟的仪表板、安全警报，改进了原有的操作方式，帮助企业更有效率地捕获商业机会、发展新业务。

Apache Spark：该技术采用内存计算，从多迭代批量处理出发，允许将数据载入内存做反复查询，此外还融合数据仓库、流处理和图计算等多种计算范式，Spark用Scala语言实现，构建在HDFS上，能与Hadoop很好的结合，而且运行速度比MapReduce快100倍。

Apache Hadoop：该技术迅速成为了大数据管理标准之一。当它被用来管理大型数据集时，对于复杂的分布式应用，Hadoop体现出了非常好的性能，平台的灵活性使它可以运行在商用硬件系统，它还可以轻松地集成结构化、半结构化和甚至非结构化数据集。

Apache Drill：你有多大的数据集?其实无论你有多大的数据集，Drill都能轻松应对。通过支持HBase、Cassandra和MongoDB，Drill建立了交互式分析平台，允许大规模数据吞吐，而且能很快得出结果。

Apache Sqoop：也许你的数据现在还被锁定于旧系统中，Sqoop可以帮你解决这个问题。这一平台采用并发连接，可以将数据从关系数据库系统方便地转移到Hadoop中，可以自定义数据类型以及元数据传播的映射。事实上，你还可以将数据(如新的数据)导入到HDFS、Hive和Hbase中。

Apache Giraph：这是功能强大的图形处理平台，具有很好可扩展性和可用性。该技术已经被Facebook采用，Giraph可以运行在Hadoop环境中，可以将它直接部署到现有的Hadoop系统中。通过这种方式，你可以得到强大的分布式作图能力，同时还能利用上现有的大数据处理引擎。

Cloudera Impala：Impala模型也可以部署在你现有的Hadoop群集上，监视所有的查询。该技术和MapReduce一样，具有强大的批处理能力，而且Impala对于实时的SQL查询也有很好的效果，通过高效的SQL查询，你可以很快的了解到大数据平台上的数据。

Gephi：它可以用来对信息进行关联和量化处理，通过为数据创建功能强大的可视化效果，你可以从数据中得到不一样的洞察力。Gephi已经支持多个图表类型，而且可以在具有上百万个节点的大型网络上运行。Gephi具有活跃的用户社区，Gephi还提供了大量的插件，可以和现有系统完美的集成到一起，它还可以对复杂的IT连接、分布式系统中各个节点、数据流等信息进行可视化分析。

MongoDB：这个坚实的平台一直被很多组织推崇，它在大数据管理上有极好的性能。MongoDB最初是由DoubleClick公司的员工创建，现在该技术已经被广泛的应用于大数据管理。MongoDB是一个应用开源技术开发的NoSQL数据库，可以用于在JSON这样的平台上存储和处理数据。目前，纽约时报、Craigslist以及众多企业都采用了MongoDB，帮助他们管理大型数据集。(Couchbase服务器也作为一个参考)。

在我们这个DOD(data-on-demand)社会，每天都有大量的数据产生，并且大量的数据被收集在主要IT系统中。无论是社交媒体的照片还是国际商店交易信息，大量高质量、可量化的数据每天都在爆炸性增加，应对的唯一方法就是快速部署一个高效的管理方案。

切记，除了要对数据进行快速的分类和组织，IT管理人员必须具有挖掘信息并将其应用到业务中的能力。商业智能和数据量化背后的科学将继续发展和扩大，企业取得竞争优势的关键在于能否对它们的数据进行很好的管理。