华为云大数据MapReduce服务 让有远见的人先用起来

如何让企业真正利用大数据全栈技术,开始盈利?而不是让企业组建一个“大数据部门”或买了某款大数据产品,便认为站在了最前沿最猛烈的风口,生怕错过了这波革命浪潮的同时,心里却默想“大数据到底怎么实操落地?”

这是华为近四年多正在研究的一个课题,也是众多提供大数据服务商所共同面临的行业性问题。

解决这个问题的关键,在于效率。大数据本就是为了效率而生的产物。

一个有价值的项目必须是服务提供商与企业双方效率都得以提升,它才有长期盈利的可能。用这个标准来衡量当前的大数据市场——服务商虽然把产品卖出去了,赚了钱,但企业只是因为市场红利的诱惑(头脑一热)才加入大数据浪潮,却没能真正解决实际问题。

原先搭机房的人现在开始摆平接口问题;原先买硬件的人现在准备购买运算节点;原先突发分析任务导致的业务宕机现在依旧没改观。

云上的数据库,一定要比自行搭建的数据库提供出更好的解决方案,才有价值。而这完全依赖于底层积累以及持续构建的技术体系,硬实力决定了产品的实战可用性,重要的不是水上的冰雕(宣传)多精致,而是冰山水下(技术)的那90%支撑。许多企业在等一个技术突破,解决效率和价格的问题。

目前据悉,华为云EI·MapReduce可以帮助企业解决这类问题。

华为聚集国内外顶尖的大数据专家,从2002年开始研究,已具备15年的技术积累,开源贡献亚洲第一。华为大数据在电信运营商、金融、公安等市场成功应用项目1000+。MapReduce服务成功融入华为在企业市场多年的大数据成功应用经验,并结合华为云计算和存储优势,为客户提供专业的云上数据专属服务。

我们通过阅读MapReduce(以下简称MRS)帮助文档终于帮大家打听到一些干货。

MRS版本带来了如下特性:

  • 开源开放

MRS提供了企业级一站式大数据服务,包含了业界主流的大数据开源技术(Hadoop,Spark,HBase,Kafka,CarbonData,Storm等)。

  • 弹性伸缩

MRS提供弹性伸缩能力,可以自动在业务繁忙时申请额外资源,业务不繁忙时释放闲置资源,让用户按需使用,尽可能的帮助客户降低使用成本,聚焦核心业务。

  • 集群缩容

MRS新支持了集群缩容功能。用户可以根据业务需要简单的缩减Core节点或者Task节点,达到缩容的目的。MRS通过后台一系列算法智能的选择当前最合适的节点进行缩容,更好的实现用户的诉求。

  • TaskNode

支持创建TaskNode节点,只作为计算节点,不存放持久化的数据,是实现弹性伸缩的基础。在MRS服务只作为计算资源的场景下,使用TaskNode节点可以节省成本,并可以更加方便快捷地对集群节点进行扩缩容,满足用户对集群计算能力随时增减的需求。

  • 多磁盘挂载

支持创建集群时非Master节点配置多磁盘,能够将集群中相应服务(如HDFS、Kafka等)的数据目录分散到多块磁盘上去,以满足服务对磁盘读写速度和集群的存储能力的要求,从而提升集群的运行效率,给予用户更好的使用体验。

  • HBase 升级到3.1版本

支持开源Hbase 1.3.1版本,包括Region Replicas、Date based tiered compaction、Multi WAL、REST API等新特性,在离线数据的实时读取、按时间戳批量查询等场景下性能有了较大的提升,支持使用REST对HBASE进行业务操作。

  • 4U8G低规格集群

MRS版本新发布了低配置集群。用户在对内存、CPU资源需求较低的场景时,可以创建低配置集群,使用低配置集群能大大降低使用MRS的成本,按需付费最高节省60%,包年包月最高节省58%。

  • 创建集群的效率提升

MRS 版本新优化了MRS集群的创建逻辑,使整个集群创建耗时减少为原来的一半,用户体验更好。

  • Maven仓库

MRS 版本支持Maven仓库,开发人员可以直接在公网上下载到MRS组件的jar包来进行二次开发,大大提高了开发人员开发项目的自动化构建能力。使用指导可参见华为云帮助中心:  http://support.huaweicloud.com/devg-mrs/mrs_06_0002.html

  • SMN

MRS支持实时地主动给用户发送短信和邮件,来通知集群变更结果以及大数据平台的告警信息,如:HDFS、Hive、Yarn等服务不可用,节点故障等。让用户及时感知风险,降低损失。

  • 包周期集群扩容

当您购买了MRS包周期集群后,在订购的周期之内,您的业务增长超过预期时,就会出现超出包周期订单规模外的扩容诉求,MRS服务支持包周期集群扩容能力,做到了在轻松帮助您完成扩容的前提下,让您继续享受着包周期的优惠。

您只需要在您业务需要的时候,打开MRS服务页面,点两下鼠标,便可扩容出您需要的节点数。整个扩容过程无需后台人工介入,只需几分钟,即可完美解决您遇到的日益上涨的业务数据压力。

  • 自定义引导操作

MRS提供标准的云上弹性大数据集群,目前可安装部署包括hadoop、spark等9种大数据组件,提供包括接入、实时计算、缓存、存储、批量计算的数据全生命周期服务。MRS在和客户的交流中发现,标准的大数据集群不能满足所有客户需求,有些客户需要安装自身业务所需的软件工具或运行环境,有些用户根据自身业务对大数据组件包做了修改,有些用户需要其他MRS还未支持的大数据组件。因此,MRS提供了自定义引导操作,用户可以以此为入口灵活配置自己的集群,通过引导操作用户可以自动化地完成:

  • 修改操作系统运行参数
  • 安装gradle、maven等工具软件
  • 对MRS已有大数据组件软件包做修改
  • 安装和运行MRS还未支持的大数据组件

引导操作是指启动集群组件前(或后)在指定的节点上执行脚本。您可以通过引导操作来完成安装MRS还没支持的第三方软件,修改集群运行环境等自定义操作。如果集群扩容,选择执行引导操作,则引导操作也会以相同方式在新增节点上执行。

10月10日-12日在上海举行的华为全联接大会上,大家将有机会全面接触华为云EI·MapReduce解决方案,体验MRS带来的全兴使用感受。