云计算、社交和移动计算正在驱动大数据不可阻挡的增长态势,全球手机数量是总人口数量的两倍,超过10亿人活跃于社交网络,截至2015年将有超过150亿台设备共享数据,仅在明年全球数据预计会增长44倍,而这些产生的海量大数据已然成为企业发展的生命线,若是这些数据信息没有得到正确的管理,大数据也有可能代表着巨大的成本和法规遵从风险,只有驾驭好大数据才有可能为企业带来卓越的商业价值。
众厂商跻身大数据领域
SAP 大数据技术HANA:SAP的HANA是一款面向数据源的、灵活、多用途的内存应用设备,整合了基于硬件优化的SAP软件模块,通过SAP主要硬件合作伙伴提供给客户。据介绍,HANA技术能够每秒运行77万条记录,批量插入1GB的数据,每小时达到2.5TB数据的服务,每小时2.5TB可以插入到SAP HANA上。EML基准测试中,能够展示每小时66000个任意数据的查询,这样高性能的表现,无疑让人垂涎,这绝对是SAP在大数据领域的杀手锏。
IBM大数据分析平台:InfoSphere是IBM进军大数据领域的强有力武器,其包括 BigInsights和Streams,二者互补,Biglnsights基于Hadoop,对大规模的静态数据进行分析,它提供多节点的分布式计算,可以随时增加节点,提升数据处理能力;而Streams采用内存计算方式分析实时数据。InfoSphere大数据分析平台还集成了数据仓库、数据库、数据集成、业务流程管理等组件。
Oracle大数据机:为许多企业提供了一种处理海量非结构化数据的方法。对于那些正在寻求以更高效的方法来采集、组织和分析海量非结构化数据的企业而言,该产品具有很大的吸引力。Oracle大数据机集成了硬件、存储和软件,包括Apache Hadoop软件的开源代码分发、新的甲骨文NoSQL数据库和用于统计分析的R语言开源代码分发。
大数据不可阻挡 Informatica 9.5如何实现数据投资回报
作为全球领先的企业数据集成软件提供商的Informatica,一直以来都是各大厂商进军大数据领域争抢的对象,不只是因为全球近5000家企业依赖Informatica使用及管理其在本地的、云中和社交网络上的信息资产,还因为它在数据方面强大的技术能力。
近日,Informatica发布了Informatica 9.5,旨在为客户实现大数据最大投资回报。记者借此机会与Informatica核心技术部资深产品管理总监郑玮女士就Informatica 9.5 进行了交流。
站在工作内容的角度来看,郑玮女士认为目前有四大趋势:大数据、数据虚拟化、自助服务和数据治理。而就大数据这个趋势而言,郑玮表示大数据汇聚了三个相关但又不同的技术趋势:大交易数据、大交互数据和大数据处理。每个趋势代表了突破性的创新和大有可为的潜力。
大交易数据:Universal Data Replication,Ultra Messaging和PowerExchange把交易数据传送到Hadoop.
大交互数据:Social MDM结合现有客户主数据和社会客户档案,以提高客户忠诚度和购买力。
大数据处理:Unified visual IDE for Hadoop授权那些不是Hadoop专家的开发者创建业务逻辑,并采用一个直观和熟悉的可视化开发环境部署;Hadoop-native transform加速开发复杂的数据转换,帮助Hadoop开发者加速获得商业价值。
鉴于社交计算的极速增长,许多企业正在转向利用社交数据,从而更加清晰地洞察用户及市场,而这些海量的社交工具的处理、分析需要企业花费大量的IT成本,在Hadoop技术逐渐成熟下,很多企业转向Hadoop的怀抱,通常数据分析是企业成本最高的部分,将这部分转移到开源的Hadoop上进行处理,自然是企业的最佳选择。据介绍,Informatica 9.5提供了全新及扩展功能,极好的释放了Hadoop潜能。以下是郑玮女士介绍的Informatica Powecenter在处理数据的六大步骤:
1. 将数据导入Hadoo
2. 发现Hadoop的异常数据
3. 解析和准备数据
4. 数据转化,将半结构化的数据转化为结构化的数据
5. 调用客户的数据分析工具对Hadoop上的数据进行分析
6 从Hadoop上导出数据
据郑玮女士透露,目前Informatica有大数据方面需求的用户主要是网站、金融行业以及制造业和娱乐行业。对于SAP热火的HANA技术,郑玮表示SAP此举非常聪明,因为目前主流的企业的数据还是在2TB左右,而SAP的HANA技术目前内存可以存放2TB的数据,另外HANA在数据处理的速度上也很快,但郑玮也表示SAP is always SAP,在开放性上做的不够