远程办公是巨头游戏?十倍扩容,他们如何做到百万级并发流量

据说,远程办公工具是2020年的第一个风口。

疫情发生后,除了Zoom这样深耕视频会议多年的软件,钉钉、企业微信、飞书等一大批互联网巨头也开通了免费服务,凭借着自身庞大的资源四处招揽用户。

1月31日,远程办公开启第一天,钉钉、企业微信就因为扩容没做好,扛不住庞大流量,系统陷入奔溃。这些大厂很快可以加服务器,进行技术调整,还能将一场宕机危机转化成一次产品曝光机会。

面对此次考验,此前没有太多发声的“小公司”却不容有失,在云视频会议领域扎根十多年的全时云就是其中之一。

CTO 赵元军告诉CSDN(CSDNnews),“这个公司有个特点,就是随时准备好,要做就要做好,把产品性能和客户体验放到首位。之前我们认为可以免费开100方,就开100方,然后我们发现200方准备好了,那就去开200方。”

一句话,要稳。无论是做技术、产品还是应对疫情,全时云都显得比较稳。

十倍流量的冲击

1月25日,大年初一,全时云研发团队开始着手应对疫情的预案。

首要工作是后台服务的扩容。一方面,全时云有数万付费客户,而像顺丰、万达这种大企业内部就有数万帐号,他们在正常时期一天会开数十万分钟的会议,但现在的需求可以达到数百万分钟。另一方面还要考虑数量激增的免费注册新用户。

问题来了,需要扩容到什么量级才合适?

初三到初六期间,全时云的系统每天早上10点到10点半是流量峰值,在稳步增长,而初七远程办公首日用户流量会出现爆发性增长,所以他们预估了一个10倍的扩容量级。

扩容也不是一次到位。赵元军称,他们在大年初三对新用户免费开放了100方的容量,但他们低估了用户量的增长,在加固后台服务能力一周后,又把免费容量扩大到200方。而全时云系统是具有横向扩容能力分布式技术架构,他们还安排了备份扩容的机器。

随后,研发团队梳理了技术系统可能存在的风险,以防在流量爆发性增长时确保不出故障,全时云团队不会容忍用户体验出问题。

大年初三,数十名运维团队的工程师就全部进入高强度的工作状态。运维总监欧阳华称,他们团队做的最多的是对系统进行“找茬补缺”,因为从用户注册到登陆开会是个系统过程,任何一个堵点都会影响整体用户体验,他们必须第一时间就定位到问题,然后及时修复。

他们还预估了最坏的状况,做了灾备演练。比如系统出问题时,让客户的会议通道从一个机房调换到另一个机房,在新环境继续使用。

而对产品团队而言,他们需要及时了解客户使用时出现的bug,然后反馈给研发快速解决问题。何思颖领导的整个产品团队几乎都投入到前线客服的战线,“每天每个人多则50通电话,少则10通电话,收集客户反馈的使用体验问题,然后在在更新版本中去解决。”

根据目前的流量数据,赵元军透露,远程办公开启后,全时云系统每天有百万级并发量。“事实证明,我们的用户增长量差不多就是10多倍。”

云视频会议技术架构设计

10倍容量拉长到一、两年,一个研发团队可以很从容的去应对,但是放在一周内解决并非易事。

对所有产品来说,稳定性、可靠、可用是最基本要求。

那么云视频会议的特点是什么?赵元军总结了两点:数据量特别大,网络上大约80%的流量可能来源于视频。实时性要求高,尤其是互动型视频会议,技术难度远远高于直播,后者至少允许延时、后台缓存。

基于这两大特点,他认为视频系统技术架构设计要遵循三大原则:

首先,系统要分布式、可扩展。比如一场会议有1000人,每个人看1080P视频,总共要用掉大约1.5G流量,更好的网卡要花更多钱,如果不想花更多钱,又想保证基本流量,就需要架构设计上把一场会议的传输分到不同的服务器,这样能够保证数据服务的高可用性,不同的用户都能有更好体验。

其次,系统要有网络感知能力。随着用户量增加,要保证网络使用稳定,可能需要产品的网络感知能力来了解带宽、丢包率、延时等情况,然后去调整发包策略、编码策略。

最后,系统易用性要好。与用户使用体验相关,比如桌面共享文件实时接收、色彩还原度调整、背景音降噪、回声消除、音量自动增益等细节功能的打磨。

而要应对疫情期间这样高流量的冲击,他们需要克服两大技术挑战。一是高并发问题。二是弱网络问题,赵元军解释,全国各个组织都有远程开会需求,不光全时云机房、数据中心会面临压力,网络运营商的压力也很大,这时产品可能会面临丢包、延时、抖动等一系列问题的考验。

好在全时云的基础比较牢靠,从前年就开始重点投入这两大难题。实际上,从2016年至今,他们规划的分布式架构已经更新了四版,理论上系统可以无限的横向扩容。

不过,全时云的独特不止与此。

强敌环伺,全时云的突围

这次疫情将诸多云视频会议的企业摆在了台面上,虽然体量不及巨头,但论资历,全时云在云视频会议行业已潜心修行十多年。

2006年发展初期,全时云也曾借鉴美国的云视频会议公司WebEx,但当时这一领域在国内的市场规模较小,后者的运作模式显然在中国水土不服。赵元军说,中国和美国市场不太一样,前者更多是知识型产业,而中国市场还在产业升级中。

此前,他曾在WebEx工作11年,随着WebEx苏州研发中心关闭,他和欧阳华等工程师加入全时,另一部分人则去了Zoom。

2007年,思科以30亿美元收购了WebEx。彼时,WebEx也许是最好的云视频会议系统,其主要面向大企业,每年有十几亿美元的销售额,但由于思科主要营收业务来自硬件产品,WebEx被并购后在战略上没有得到足够重视。

2016年左右,云视频会议市场也曾被唱衰,当时云通讯公司LogMeIn以18亿美元收购Go To Teeting,硬件视频会议厂商Polycom以17亿美元金被私募股权公司Siris Capital收购。

直到2019年,Zoom的上市掀起了行业的波澜,其市值一度达到200多亿美元。今年以来,国内的腾讯、阿里、字节跳动等互联网巨头都加码投入到了云视频会议领域。

前有老牌对手,后有强敌环伺,全时云这样的“小公司”还有机会么?如何突围甚至走出康庄大道?

赵元军对比了WebEx和Zoom这两大全时云先后对标的云会议厂商。

从技术角度,面向大企业的WebEx需要客户有较好的IT基础设施;而Zoom一开始主打中小企业,包括免费用户,这些用户的基础设施和网络状况参差不齐,如果交互性、应用性做得不好,就会影响用户体验,所以他们的产品会考虑到全球市场的普适性,做得更简单。

从市场角度,中美两国的用户特征不尽相同,在中国市场,QQ、微信等产品教育了用户的音视频使用习惯。

对于全时云而言,Zoom的打法显然更值得参考。一是WebEx的架构设计、传输系统、编解码系统显然不适合中国企业的IT基础设施;二是在国内市场,QQ、微信等产品已经教育了用户的音视频使用习惯,要求根据不同场景、不同行业做出个性化产品,并具备快速应对市场反应的能力。

去年年初,全时云做了战略调整,砍掉了远程医疗和教育等诸多产品,按CEO陈学军的说法,他们还是一家小公司,必须聚焦在云视频会议产品上,产品聚焦使得在研发人员减半的情况下,全时云还能缩短近一半的研发周期来做好会议产品。

如今,随着国内互联网大厂的加入,有人认为这又是一场巨头的游戏,夹缝之下,全时云如何在云视频会议市场打出自己的名号?

抛却资本因素的影响,赵元军概括了全时云在技术、产品、市场领域特色:

  • 传输架构的协议特别灵活。在当前状况下,虽然说中国云会议门槛越来越低,但是中国网络状况参差不齐,全时云能适应不同地区企业的UDP、TCP、HTTPS等不同网络策略的挑战。 
  • 全时云在视频会议采用的是是可定制化的HPC系统,会议中可以针对个人网络质量调整不同的码率、分辨率、帧率,达到动态平衡。 
  • 全时云的电话会议系统可以无缝打通,甚至还联动了VoIP第三方电话系统。 
  • 分布式能力。很多公司都做分布式架构,但全时云做到了能够就近接入多数据中心。在实际使用中,全时云支持过4000方的单场会议,而在实验室环境下最多能支持6000方。 
  • 多年的客户积累。作为一家多年深耕视频会议的厂商,全时云与思科、华为、中兴等第三方硬件视频的硬件视频厂商的产品无缝衔接。 
  • 全时云的产品交互在不断优化。在基础做好的同时,也会引入AI、大数据等新技术去完善产品,比如用翻译软件智能去记录会议纪要。

疫情催生的是行业风口还是一时狂欢

回顾近年国内的云视频会议变化,一开始是以思科、华为、中兴等传统企业做的硬件视频会议,随后网络视频会议引领潮流。如今,无需下载客户端,通过网页或小程序都可以进入视频会议,而且视频会议软件正与OA系统、CRM或者ERP等企业办公系统深度整合。

新一轮技术融合和市场机遇正在萌发。

5G的到来,人们一个普遍的感性认识是网络速度更快、带宽更高、延时更低,接入量更大。赵元军预计,与5G结合后,软件视频会议的门槛将会更低,网络探测功能也许就不再需要。还可以要求更高清的视频,与4K、8K、AR、VR技术结合使用。当然,这种变化不会一蹴而就。

而随着中国产业升级发展,他认为知识型产业对视频软件等办公协作工具的需求会愈来愈高。至于发展多大规模,他给CSDN算了一笔账:中国差不多是14亿人口,美国有4亿人口,虽然短期内赶不上,但中国市场也应该是美国的1.5倍多。

无疑,此次疫情的发生,一定程度上推动了云视频行业教育市场,关键是这种短期的利好怎么转化成中长期的优势?

赵元军回应,虽然会议市场好像都很兴奋,但在他看来用户量突然增加不一定是好事,如何留存用户才是关键,这就要看产品是否给免费用户带来更好的体验。从整体上看,他认为会议领域的发展是个缓慢增长的过程。

疫情拐点过后,当人们重新回到办公室,视频会议是一时狂欢还是在风口之上还有待验证。

全时云团队似乎并不纠结于此,他们更关注当下的实际问题。从这周开始,他们已在考虑下一步要做的事,“一是打磨产品,有更好的用户体验,做得更稳定;二是疫情突发,暴露了一些问题,团队还需要进一步去解决和完善。”赵元军说。