近日,国内首部系统讲解HBase理论和实战的书籍《HBase企业应用开发实战》重磅上市。《HBase企业应用开发实战》由国内资深工程师李立松、马延辉、孟鑫合力创作。其中,李立松来自国内领先的第三方互联网数据服务公司——缔元信.网络数据。
(图为李立松参与制作《HBase企业应用开发实战》书籍)
《HBase企业应用开发实战》主要是系统讲解HBase理论和实战的书籍,书中重点强调了HBase在企业的实际应用,立足于企业的实际生产环境,旨在帮助企业切实解决大数据技术如何落地的问题。
作者李立松毕业于黑龙江科技大学信息与科学技术专业,毕业后一直从事数据开发相关工作,对Hadoop、Hive、Hbase等有深入透彻的研究和浓厚的兴趣。2013年李立松加入缔元信.网络数据,负责缔元信DMP平台的开发工作。
据李立松介绍,目前Hbase在缔元信的主集群存储了超过2万多亿结果数据,23000多个在线region,最大的单表有5000多个region,达到每天新增入库量上百亿条的规模。庞大的入库压力迫使缔元信不断优化Hbase,为此开发人员们开发了Hbase分布式入库系统,同时还开发了hbase监控报警系统,对Hbase的关键指标进行阀值监控,发现超标问题,报警系统会把相关信息投递到运维部门,运维值班人员会立即通知相关人员进行故障排除。
附:
一、公司介绍
北京缔元信互联网数据技术有限公司(以下简称:缔元信)是中国领先的第三方互联网数据服务提供商,是行业中唯一一家国家级高新技术企业。 缔元信的数据产品有SiteRating网站流量监测系统、AdRating网络广告效果监测系统、ClickRating用户点击统计系统等。 此外,缔元信已积累4亿以上可连续分析的网民行为数据,日平均数据处理能力达30亿条,客户群覆盖国内主流媒体网站、政府行业主管机构、顶级4A代理机构及汽车、IT、快消、家电等行业的一线品牌企业。
二、DDMP(缔元信数据管理平台)介绍
缔元信自主研发的DDMP数据管理平台,基于缔元信的数据统计业务,对中国互联网用户行为数据进行集中化、标准化、属性化管理。采用了云存储、云计算及智能语义分析技术,根据用户的网上浏览和消费行为,对用户进行消费倾向特征标识,并可通过多种API接口,将数据输出给各种应用领域。DDMP是网络数据挖掘分析的基础,是各种定向广告平台、个性化推荐系统、在线商务智能分析的支撑系统。