惠普Hadoop平台助您轻松搞定大数据

在这个信息爆炸的时代里，人们在交互过程中所产生的海量数据正在成为新的宝藏。电子商务、互联网、制造业……越来越多的行业希望借助大数据技术对不同来源的数据进行深度分析，获知客户使用习惯、产品应用情况等等，进而制定更为有效的产品研发、市场推广策略。

如果想要在海量数据里发掘出新的价值与商机，那么除了要拥有足够数量的有效数据外，还要有能够对数据进行存储、分析、计算的硬件、软件体系平台，以及相应的安全保障措施。而早在两年前，惠普AppSystem整合计算平台产品线就推出了Hadoop专用计算平台HP AppSystem for Apache Hadoop。HP AppSystem For Hadoop全面采用了英特尔的至强E5硬件平台与CDH软件平台，将惠普旗下的服务器、存储、网络设备等硬件以及管理软件进行优化整合，为企业提供了一个可以快速部署的分布式数据处理平台，实现对大数据的有效挖掘分析。

Hadoop是一个能够对大量数据进行分布式处理的软件框架，属于MPP(Massive Parallel Processing)分布式并行计算架构，其技术复杂，往往需要通过专家协助部署，如此高的技术门坎使得目前能够利用Hadoop来处理大数据的企业并不多。而用户借助HP AppSystem for Apache Hadoop平台在30分钟内就可部署完成规模为800个节点的Hadoop平台。

下面就让我们一起来认识一下HP AppSystem for Apache Hadoop平台的组成。

惠普HP AppSystem for Apache Hadoop平台的硬件包括第八代服务器ProLiant DL380和HP Networking 5830交换机。ProLiant DL380配备2个10GbE网络控制器，以及大容量的内存。比如，惠普ProLiant DL388p Gen8就标配了两颗频率为2GHz的Xeon E5-2650处理器，八核共享20MB的三级缓存，支持十六线程传输，采用的32nm制作工艺，内存大小为32GB，硬盘支持热插拔扩展。

实际上大数据分析的背后是大量的数据实时交换，这意味着Hadoop环境里的网络流量负载将会很高。HP Networking 5830交换机能够支持超过1GB的数据报文缓存，其所独有的IRF网络虚拟化技术，还可确保Hadoop环境后备系统的高可用性。

在软件方面惠普Hadoop平台采用了HP Insight Cluster Manager，这套软件能够帮助企业用户轻松跨过Hadoop的技术门坎，只要按几个键即可完成Hadoop集群的部署工作。而且其延展性可达1,000个节点，并在管理功能上提供了性能监控与可视化管理工具。

另外，惠普Hadoop平台还可与Vertica实时分析工具一起使用，通过Hadoop平台先将数据处理成结构化数据与半结构化数据，再由Vertica进行实时数据分析。

这里要提到一点的是，HP Autonomy所推出的新版HP IDOL for Hadoop把Hadoop从某种程度上较窄的传统数据存储仓库变成强大的智能分析平台，能够从PB级的数据中获得洞察。通过把情感分析、集群和实体抽取等强大的HP IDOL功能嵌入Hadoop节点，企业可以进行先进的客户、安全、运营分析等等。

以业界标准的Hadoop性能测试工具Apache Hadoop Terasoft Bechmark来比较，在一个由18台DL 380服务器与惠普网络设备组成的HP AppSystem for Apache Hadoop平台，可在约1.5小时内处理10TB的数据。

据了解，惠普Hadoop产品支持开放标准，对于目前主要的Hadoop分支版本皆可支持。而且惠普还推出两项与Hadoop相关的顾问服务：HP Big Data Strategy Workshop服务和HP Roadmap Service for Apache Hadoop顾问服务，前者为企业提供大数据策略教育培训，后者可以协助企业规划Hadoop策略与部署计划。