再下一城:Hadoop企业级应用新添重磅案例

当下大数据之热使得技术界对Hadoop的话题热火朝天。但在日常工作中,企业往往还是遵循既有模式,对于Hadoop到底能否真正帮到企业的应用依然心存顾虑。Hadoop是不是很年轻?这个开源的事物能否符合公司业务级的严谨要求?有没有企业真的应用过?一系列问题萦绕人们心头。这可以理解,毕竟任何一个新生事物出来都要有一个接受过程 。

对于Hadoop,其实这些都不是问题。专业人士都知道,Hadoop到现在已有15个年头,这对于一个实用技术的稳定发展已足够长久。 事实上,虽然“大数据”一词才出来二三年,但它实际指称的海量的、多类型的数据现象早就有了,不但在互联网领域,更在工业、商业、通信、金融、传媒等存在久远。比如,生产线上巨量传感器数据的接收分析、通信系统全程全网的实时日志文件采集与分析、医疗系统密集数据采集与分析从而帮助快速的科学诊断……所有这些都需要新型的数据处理技术来支撑。Hadoop在这些领域突显了强大竞争力,并在国内外的相关实践中获得广泛应用。

在Hadoop还是开源的时候, 众多非 IT 型企业不具备自我开发条件,由此限制了Hadoop在企业里的普及。但随着专注于企业级市场的Hadoop发行版的技术公司出现,这个问题迎刃而解。从此, 各类型企业终于可以安心驾驭真正的企业化“大数据浪潮”了。

在中国,广电系统正经历着数字化浪潮的冲击,基于网络化的影视播放给传统广电运营商很大挑战。 在此背景下,广电系统的生力军华数传媒敏锐地意识到,要想获得未来网络化传媒的生存与竞争优势,现在就必需向用户倾斜,以适应未来发展的数据基础架构为依托,才能打造“精准型”广电内容及传播运营商。

2013年,华数传媒的大数据系统完成了从无到有的基础建设,实现了基本应用。然而,华数大数据仍面临很多挑战:数据量增加带来的服务性能压力、数据分析无法满足高时效性业务、业务支撑功能无法满足复杂的商用需求、对网络和服务器质量等数据分析仍为空白、等等。为此,华数传媒亟需解决方案以解决如下几个问题:

1. 数据采集、存储和转发。通过大数据技术满足海量、多来源、多样性数据的存储、管理要求,支持平台硬件的线性扩展,并提供快速实时的数据分析结果,并迅速作用于业务。

2. 个性化用户推荐。不仅限于数据本身的分析和决策价值,通过构建在大数据平台之上整合业务能力,为用户提供融合、个性化的内容服务。

3. 从内容传输到内容制造。使用大数据挖掘技术提前先于观众知道他们需求,预知将受到追捧的电视。另外, 还可通过观众对演员、情节、基调、类型等元数据的标签化,来了解受众偏好,从而进行分析观测,为后续的影视制作等内容开发做好准备。

作为众多广电运营商其中的重要一员,华数传媒的这些需求,也是广电运营商们的共同诉求。

针对华数传媒的需要,国内首家专业的企业级Hadoop发行版厂商星环科技给出了令人满意的答卷。 星环科技基于自主研发的一站式Hadoop发行版Transwarp Data Hub (TDH),综合运用了其中的TDH Hadoop、Inceptor分布式内存引擎、Hyperbase实时数据库等技术产品组件,为华数传媒提供了如下的综合方案:

数字电视分析系统

TDH平台用以整合各个相关数据源数据,包括Portal、CA、CDN、SRM日志、用户使用浏览信息、AAA、BOSS结构化数据、用户基本信息、消费数据、用户上网流量数据、网管数据等。通过TDH的快速分布式数据查询引擎,实现海量数据的秒级查询。为用户提供智能推荐、实时榜单和新媒体指数分析。

1. 提供基于全量数据的实时榜单。以时间(小时/天/周)、用户等维度,对点播节目、直播节目、节目类别、搜索关键词等进行排名分析、同比环比分析、趋势分析等。地区风向标主要以城市和时间等维度分析点播排行、剧集排行、分类排行、热搜排行及用户数量的变化。另外,从时间、频道、影片类型、剧集等维度,根据在看数量、新增数量、结束观看数量、完整看完等分析用户走向。

图一:华数传媒以企业级Hadoop发新版为基础的大数据架构

2. 新媒体指数分析。通过对用户行为分析获取很多的隐性指标,从侧面反映用户对业务的认可度、用户的使用行为习惯等。在此基础之上,TDH大数据分析可帮助华数传媒构建规范的指标分析和衡量体系,为业务运营提供强有力的指导。

3.智能推荐。运用星环科技大数据基础架构,通过对用户行为数据的采集分析,进行精准画像,使用智能推荐引擎,实现信息的个性化推荐(TV屏、手机、PC),个性化营销(个性化广告、丰富产品组合、市场分析)。基于可持续扩展和优化智能推荐算法,以及大数据带来的实时数据交互能力,为每一个用户量身定做的推荐节目极大提高了产品的到达率,增强了用户忠诚度。

结语:

对于包括广电运营商在内的众多企业而言,精细化的用户需求掌控是未来发展不可变更的趋势。在此,Hadoop发行版系统再次证明了其业务价值,这是传统数据管理系统力所不能及的。星环科技是国内鲜有的掌握企业级Hadoop和Spark核心技术的高科技创业公司,在电信、金融、交通、政府等领域的落地应用拥有丰富经验。相信通过类似星环科技的Hadoop发行版系统,企业级大数据应用将更能顺应业务发展要求,企业也可更从容面对市场竞争。

更多信息,请访问http://www.transwarp.io