4月14日14:00,“CTO俱乐部走进腾讯”活动在腾讯深圳总部举行,此次活动邀请到腾讯社交网络事业部副总裁陈磊、腾讯云总架构师刘颖、腾讯云高级架构师罗奇、腾讯云高级产品经理向国屹,与俱乐部会员一起分享了腾讯云架构分析和实践、腾讯的大数据实战以及微信云等方面的话题。
活动吸引了100余名来自不同企业的技术管理者,由CSDN&《程序员》总编刘江主持。一开场他做的小调查显示,此次活动虽是在深圳举行,但参加者中有一半左右是专程从其他城市赶来参会的,可见腾讯的吸引力还是很大的。
陈磊:每个月都增加目标量
腾讯社交网络事业部副总裁陈磊致欢迎词时介绍说,腾讯云对腾讯来说是非常重要的核心业务,也代表了未来的发展方向。现在整个行业越来越多的企业在使用云,从腾讯自己的业务数据、整个行业监控的数据看,今年第一个季度云计算行业发展非常好,特别是公有云的发展具备很大的加速度,而且加速度越来越大。
腾讯社交网络事业部副总裁 陈磊
陈磊认为发展互联网业务,可以考虑云所带来的价值。因为一方面从效益和成本上来看,选择云是最合理的选择;另一方面安全问题带来挑战是非常错综复杂的。这两个方面能力的建设需要长期的投入和积累。
腾讯云架构分析和实践
腾讯云总架构师刘颖在题为《腾讯云架构分析和实践》的主题分享中,介绍了腾讯云网络架构、虚拟化架构和存储架构三方面的演进。
刘颖介绍说腾讯云总体分为三个主要部分。第一,计算平台,分为两种类型的计算平台,一种是传统的云主机,另一种是PaaS的引擎叫做CEE。第二,存储服务,有各种介质、各种类型的,还有一些对象存储,分别在不同的场景下有不同的用途。第三,大数据分析的服务、面向个人存储的云服务以及安全产品。
在介绍到腾讯云的存储方面时,刘颖说腾讯云的存储可以分为:虚拟机里结合更紧密的服务CBS云盘、存储服务CDB以及对象存储COS。遇到运维问题时,CDB中间有一个代理层可自动做切换,用户对外看到的数据是不会变化的,程序无感知,安全性上也更有保障,此外还具备高性能、低价格的优势。
提问:腾讯有没有针对专门的数据类型做加速优化?
刘颖:其实各个网络商是都有类似的方案。我们也有自己的一套经验数值,比如腾讯视频对大视频怎么样去切片。
提问:针对虚拟机等登陆会有审计的相关工作,这些审计数据是我们可以看得到吗?还是说只是你们内部看得到?
刘颖:审计目前是不对外部公开的,首先大家知道腾讯的产品这么多,云是一个toB的产品,我们内部有审计对所有的日志,不仅仅是我们自己能看到,其实也有一个第三方团队来去审计我们。
腾讯大数据实战
紧接着,腾讯云高级架构师罗奇带来了《腾讯大数据实战》的主题演讲,分享主题包括:什么是腾讯TOD,为什么会做它以及给用户会带来什么样的价值;TOD的功能和界面以及基于TOD腾讯内部做的应用;举例说明其中用到的技术。
TOD是腾讯公司面向第三方开发商提供的云端的数据介入大数据平台,包括了存储、计算和应用三方面。开发者可以在线创建数据仓库,编写、调试和运行SQL脚本,调用MR程序,完成对海量数据的各种处理。另外开发者还可以将编写的数据处理脚本定义成周期性执行的任务,通过可视化界面拖拽定义任务间依赖关系,实现复杂的数据处理工作流。主要应用于海量数据统计、数据挖掘等领域。已经为微信、QQ空间、广点通、腾讯游戏、财付通、QQ网购等关键业务的提供了数据分析服务。
“现在大数据这个词很火,很多公司也都想做大数据,而怎么落地是很多公司关注的事情。腾讯公司内部因为我们数据量在整个互联网业界很大,其实内部一直都是在做大数据的处理。我们把自己内部的处理能力开放出来给到其他的这些公司,当他们想要使用这种大数据能力的时候,就可以直接拿过来用。”罗奇介绍说。
罗奇分享了腾讯在数据处理方面常常遇到的问题?包括:1. 数据存储的格式、位置不同;2. 数据处理流程有很强的步骤和依赖关系;3. 需要进行各种意外处理:任务失败需要重试、任务长时间没有执行、任务监控预警;4. 现有的工具不匹配。
据罗奇介绍,腾讯分布式数据仓库(Tencent distributed Data Warehouse,TDW),支持百PB级的数据存储和计算,为腾讯产品提供海量、高效、稳定的大数据平台支撑和决策支持。已覆盖商业数据库的常用功能;低门槛开发界面,腾讯内部开发者超过2000人;性能提升明显,稳定性高。通过替换商业数据库,TDW实现了公司级的数据集中存储:1. 覆盖90%+业务产品,总记录数300万亿条,日接入5千亿条;2. 数据提取和分析人数每月3000+人(来自100多个部门),日活跃开发者500+;3. 单集群5600台,日运行Job数100w+。
提问:金融企业更多希望云端做的是存储和计算方面,应用可能会有私有化的一些场景。腾讯的云计算方面必须架构在自有的生态链上吗?你提到了Hadoop/HIVE的优化工作,很多厂商也在做这方面,想过部分开源吗?
罗奇:前面有说到我们的应用这块我们没做,你完全是可以说只用我们这个TOD这套服务来处理数据,处理完数据的话你自己去应用。我们已经开源了,现在腾讯也在做一个开源这样的项目,第一批开源的项目里面,就有我们TDW。
玩转微信云
目前微信的月活跃用度已经达到了3.55亿,在本次活动中腾讯云高级产品经理向国屹为大家带来了《玩转微信云》的主题分享,专门聊聊和微信有关的事。据向国屹介绍,现在整个公众平台已经有两百多万个公众账号。“整个互联网十年发展到现在,整个PC网站加移动网站基本上才350万个左右,仅仅微信公众账号在一年的时间内突破了两百多万,现在已经接近三百万。按现在的增长速度到今年年底将近四百万的量,这个增长量很快。我们可以看到微信以及微信公众账号对于整个移动互联网的生态影响其实影响会越来越大。”向国屹补充道。
腾讯云高级产品经理 向国屹
微信云想要做的是什么事情?向国屹说,整个行业已经到了一个高速发展的时期,有越来越多的企业有问题了会主动找到他们。因为企业说这是腾讯出的,企业花了很多钱扑在上面,又出了一些安全问题,腾讯是不应该负责?“我们很冤枉,因为这不是我们提供的服务,我们只不过做了中间的桥梁,我们发现这种问题越来越多,因为太多的企业关注它,很多企业投到这个上面来。我们就推出了微信云这样一个平台,要做的工作就是希望做成一个打造公众账号一站式的服务平台。”向国屹说。
向国屹说发展微信云,最主要想解决的问题就是用户最关心的三个点:安全,整个基于腾讯云的这套安全体系,能把所有的服务商这部分的安全隐患消除掉;透明度,企业到我们平台上必须遵循规章制度和规则;标准化,把整个腾讯这些年的技术,包括一些大数据的点都直接放在平台上给大家用,把相关的一些接口规范,甚至包括服务接口,希望在这个平台的用户都能体会到最好的服务和体验。
提问:这个平台是不是为第三方服务商来服务的,而不是为最终的用户来服务?
向国屹:我们希望平台要良性发展,涉及到三方的良性发展,上游的话我们希望把这些服务商服务好,因为它是卖东西的,下游的话我们需要把最终的企业用户服务好,因为他是需要买东西的。我们平台方是纯粹提供整个大的平台能力支撑包括流量支撑,包括大数据分发能力的支撑,我们希望三方都愿意在我们这个平台上良好地发展下去。
现场主题分享结束后,与会嘉宾一起参观了腾讯总部并留影纪念。