用户跟你的App说再见,可能你根本听不到

分享一段网络服务不可用的尴尬经历

笔者是NFC公交卡的重度用户,记得有一次刷手机进地铁站时意外发现余额不足,而充值的时候一直打不开服务,导致在高峰期的地铁站里进退两难。

分析一下原因,当时首先想到的是网络不好,但实际上有部分应用明明是可以联网的。当然,也有可能是当时部分服务不可用所致,无论如何,总之体验很差。

许多人可能都遭遇过类似的状况,像刷NFC地铁卡上班通勤是刚性需求,我可能不会立马放弃,但如果是别的App应用,因为某种原因导致用户使用体验差的话,我可能会选择卸载,如果经常出现这种状况,相信肯定会出现服务提供商不想看见的局面。

作为网络在线应用服务提供商,会竭尽全力地想避免这种情况,但想做到这点并不容易。

因为,大部分情况下,用户并不会耐心给出清楚的反馈,如果一个服务能超过3秒不响应,用户可能会一怒之下直接放弃该应用。

遗憾的是,作为服务提供商的企业并不能检测到这些状况,因为“用户说的再见,你根本听不见。”

这是因为如今大量的监控和运维体系是构建在服务端的,无法监测到用户端的实际使用体验,后端的运维指标良好并不代表用户端体验良好,有可能会很差。

如果作为服务提供商,发现大量用户删除或者雪藏了自家App,需要看看究竟哪里出了什么问题。

专业的服务可用性检测和用户使用体验监测服务商

由于此类情况非常常见,以致于市场上出现了专业的用户体验监控和管理服务商,可以监测各种App、小程序、甚至物联网设备的实际使用体验。

Gartner对此也有成理论体系的报告,Gartner将其称之为DEM(数字体验管理),DEM是服务提供商关注用户体验的一个手段。

DEM分为STM和RUM两种,RUM的英文全称是Real user monitor,它是代码注入式的真实用户体验监测。STM的英文全称叫Synthetic transaction monitor,这是一种无侵入式的模拟监测。

通俗点说,RUM是看真实用户干了啥,STM是模拟用户用的怎么样。

真用户的数据固然更真实,但真实用户的使用数据不是随时都有的,而且RUM需要提前在应用中嵌入代码。而STM的模拟用户数据就没有这种限制了,它在真实的手机设备上执行一些业务流程,从而得到一些用户体验数据。

博睿数据的用户体验管理方案(DEM)提供了两种方式,在RUM方面有面向全终端的SDK,在STM方面,博睿数据最近对博睿数据用户体验管理Bonree App 3.0产品进行了一次升级,其核心就是尽可能多、且快速地获得大量有用数据,然后进行专业的分析。

APP3.0:尽可能多、尽可能快地获得大量有用数据

博睿数据产品高级总监孙丽

博睿数据产品高级总监孙丽表示,与基于SDK的RUM方案相比,STM的模拟方式可以以无侵入的方式,更快速地获取一些体验感知的数据。

这是博睿数据升级App 3.0一大亮点。

为了提升模拟数据的真实性,博睿数据在全国范围不同地域构建了真实的手机设备云,在200多个城市有超过15000部真实手机,与虚拟设备仿真出来的手机数据相比,前者更能衡量用户的体验。

孙丽介绍说,真实的手机终端意味着手机会真实的去连接三大运营商提供的3G、4G、5G网络,最大程度还原应用在不同网络状态下的表现,特别是观察应用在弱网状态下的表现,而这部分有很大的优化空间。

同时,为了优化模拟操作的参考价值,博睿数据在模拟技术方面加入了许多自动化框架以及人工智能技术,从而提升模拟的准确率。

从技术本质来看,博睿数据用户体验管理App 3.0产品本质上也是一款RPA产品。作为一家老牌APM厂商,博睿数据非常擅长让程序模拟人的行为去完成相关业务,比如自动登录、转账、查询、下单等操作。

从具体的技术组成来看,首先很重要的一部分就是自动化技术,另外一部分是机器学习,通过自然语言处理NLP和OCR图像识别能力可以应对更复杂的场景,比如打开某些App之后有时候会碰到弹窗,如果是单纯的自动化技术则脚本就无法继续执行了。

如此说来,机器学习技术的引入提升了流程的智能化程度。

孙丽表示,博睿数据用户体验管理App 3.0产品使用起来非常简单,用户以可视化的方式创建监测任务。比如,银行的在线APP可以创建登录和转账业务的监测任务,也可以创建一些跟别的银行业务流程对比的监测任务。

任务创建完成后,很快就能看到包括可用性、流程连通性、请求警示率等五个指标。

博睿数据用户体验管理App 3.0:专业的分析与评分

收集到数据后,博睿数据会从运维角度、用户体验角度,为App设置合理的指标体系,并且通过指标体系去告诉服务提供商最终用户的体验问题,并且指导服务提供商从哪些方面优化,能够获什么样的提升。

具体而言,博睿数据会针对数据做三个层次的分析工作。

首先是体验分析部分,分析体验过程中的一些问题,并把问题抽象成指标,靠指标来判断应用的健康度和体验评分,可以观察指标的走势来指导优化过程。

第二部分是交互分析,它分析的是用户在每一步交互执行过程中的情况,比如可能会有一些BUG会导致无法完成业务流程,而博睿数据能从从业务的角度进行分析。

第三部分是问题分析,通过指标以及数据定位问题,找到问题的本质。博睿数据构建了一套结构化的问题分析的模型,能从分布规律和单次会话两个维度进行分析,更有助于找到问题的根源。

作为版本迭代上的一次大的更新,博睿数据用户体验管理App 3.0引入了许多新技术和理念。

在用户体验方面,为了更准确的衡量用户体验的情况,博睿数据引入了信息熵的原理,通过对页面内容进行图像识别,然后,计算出来这个页面整体的信息量,最后,评价页面内容用户体验的情况。

在定位问题方面,Bonree App 3.0版本能做的更多了,不仅可以分析每个会话的详情,还能抓取设备终端的视频,看到更详细分析执行过程,查看包括网络、请求以及响应的具体情况,能对用户每一次体验进行深度分析。

与以往不同的是,博睿数据用户体验管理App 3.0更强调将所有问题变成可优化的问题,会去告诉服务提供商怎么做优化以及优化后的成果,从而能更大程度上帮助服务提供商做优化。

什么时候应该考虑博睿数据用户体验管理服务?

从服务提供商的角度看,在这四个场景下可以考虑博睿数据的用户体验管理App 3.0。

首先,是在应用体验分析环节。这一环节,服务提供商除了可以看到自家App的表现,也可以看到自家App在行业的水平,从而持续优化用户的使用体验。

另外,做核心业务流程体验对比时。服务提供商关心核心业务流程的使用体验,希望能在App更新迭代以及后端系统升级的过程中都不影响使用体验。而博睿数据通过建立常规化的监控任务来评价整体线上应用的可用性,做核心业务流程的体验对比。

还有,在发新版本前做验证时。服务提供商的App每年都会发布很多新版本,发布早期只有灰度验证能提供少量数据,博睿数据则能帮这部分用户在验证过程发现一些问题,减少上线后才发现问题的尴尬,尽早做回滚等操作。

最后,在产品上线后,如果用户或者系统发现了问题,需要服务运营商来定位和解决问题时,服务运营商可以借助博睿数据的Bonree App 3.0的服务功能,尽快定位和追踪问题。

博睿数据客户成功部总经理杨雪松

博睿数据客户成功部总经理杨雪松表示,国内用户日常吃喝玩乐、金融、民生等相关的在线服务都有博睿数据的身影,包括腾讯、美团、抖音、京东以及平安科技等知名企业。

国内的大型券商以及部分商业银行也都是博睿数据的用户。其中,国内许多券商看重刷新行情的及时性,每家券商也都非常关注彼此的表现水平。