今年早些时候，一家专注于评测各种软硬件、消费电子产品和互联网服务的技术网站ToptenReviews评出了2009年度世界顶级杀毒软件排名。有意思的是赛门铁克、McAfee、趋势科技均跌出前十，而来自罗马尼亚的BitDefender却卫冕成功，国内杀毒软件则无一进榜。这对于全球知名的三家安全厂商来说，无疑是个笑话。
ToptenReviews网站以每年评出的世界杀毒软件排行榜而闻名，评测涵盖了反病毒、反间谍软件、互联网安全套装、隐私保护等项目。但是此评测在业界的可靠性和可信度并不高，不能与VB100、WCL（West Coast Labs）等专业评测机构相提并论。
那么VB100、WCL这些专业而知名的评测机构就能反映安全软件的真实水平了么？其实也不尽然，起码在一些安全厂商看来不是这样的。早在2008 年作为全球安全市场份额前三甲的厂商趋势科技就对VB100的评测提出质疑，对其评测方法嗤之以鼻，并退出了病毒评测。而前不久，趋势科技声称VB100的评测方法落后。其主要原因是趋势科技认为目前VB100的测试方法已经与恶意程序的发展趋势严重脱节，不能反映安全软件或防护技术的真实水平。
这在安全业界引起了不小的风浪，一方面趋势科技认为，像VB100这样对Wildlist提供的病毒样本进行静态扫描的评测方法，根本无法真实反映云安全技术或产品的实际价值；另一方面VB100则认为，认证的目的在于反映杀毒软件最基础、最普遍的本地系统防护功能，言外之意没通过VB100认证的，至少可以断定这款杀毒软件最基本的系统防护能力不足。
过时的传统评测方法应与时俱进
之所以出现这两种声音，关键在于评测方法上。熟悉安全软件评测的人都知道，传统的测试方法主要是依靠收集的病毒样本和正常文件，在封闭的环境中用防毒软件扫描病毒样本和正常文件，从而得到病毒检测率和正常文件的误报率。而这两项数据在很长一段时间内成为衡量某一款杀毒软件防护能力的重要指标。
趋势科技公司防病毒分析师谷亮认为针对目前的安全威胁，这种测试方法已经明显过时，不能真实地反映一款防毒软件的优劣。据谷亮介绍，2008年全年新增1000多万只病毒，平均每小时新增差不多2000多只病毒，而且92%的病毒是通过互联网传播的。而由于可供测试的样本数量有限，很难代表庞大的病毒总体，此时再用传统测试方法就显得不合适了。
病毒和恶意程序数量暴增，已是不争的事实，用单一的病毒特征码来抵御病毒，显得太过被动。所以，业界很多厂商针对这样的情况，也纷纷研发新的安全防护技术，比如基于URL过滤的Web信誉、黑白名单比对等技术。而这些新技术的特点就是充分利用了互联网资源和云计算的优势，与传统的病毒特征码一起，构建一个多层次的防御体系。但问题是，这样的技术所衍生出来的产品，利用传统的测试方法，是否能衡量出防毒产品的优劣呢？在谷亮看来，显然是不能的。他坦言，这也是传统测试方法的弊端所在，正是因为传统的测试方法无法与时俱进，不能适应防毒厂商的技术创新，在鉴别和评测防毒产品时才显得有所缺失。
目前流行的测试方法
与传统测试方法不同，据谷亮介绍，目前流行的测试方法主要是将测试环境部署到互联网中，允许防毒产品访问防毒厂商的服务器，使防毒产品可以实时地借助防毒厂商的多种后台资源来识别病毒威胁。显而易见，谷亮所描述的可以访问厂商后台服务器的测试方法，就是针对当前被炒得热火朝天的云安全技术。对此，目前比较典型的，也是比较流行的测试方法：
一种是测试防毒产品对恶意URL的拦截能力，从数以百万计的URL链接中，按照不同类别挑选出一部分恶意的URL，然后测试防毒产品能否拦截这些恶意的URL。当然，这种方法必须允许防毒产品可以访问防毒厂商的服务器。据了解，Cascadia Labs就是利用的这种测试方法。
另一种是测试防毒产品通过云安全技术识别病毒样本的能力，原理和上述测试恶意URL拦截能力一样，允许防毒产品将病毒样本发送到云端的服务器上做扫描。PC Security Labs主要就是利用的这种测试方法。
完整的安全软件评测
事实上，为应对日益严峻的安全威胁，目前市场主流的防毒软件都已建立了一个多层次的防御体系，所以谷亮认为一次完整的评测应该测试整个防御体系质量。
一般来说，防御体系是由至少两个防护层构成，第一层是暴露防护层，这个防护层主要是基于威胁来源做安全防护，比如识别并拦截恶意URL，识别并拦截下载中的病毒等；第二层是感染防护层，这个防护层主要是基于文件内容做安全防护，比如将文件发送到云端服务器做扫描，或者使用本机内的病毒特征码做扫描。
完整的评测也应该针对这两个防护层展开测试，设置暴露防护层指标和感染防护层指标两个指标，其中暴露防护层指标包含被拦截URL的比率，被拦截文件的比率，以及被拦截字节的比率；感染防护层包含被拦截文件的比率。这些指标能够让我们看到何种威胁被哪一个防护层所拦截。而总体的评测指标应该是暴露防护层指标和感染防护层指标两个指标之和。
但问题是，当总体指标相同的情况下，怎样衡量防毒产品的优劣呢？谷亮认为，在总体评测指标相同的情况下，暴露防护层指标在总体评测指标中的比重越高，说明防毒软件的防护效果越好。这是因为，暴露防护层是防毒软件的第一层防护，如果病毒威胁在第一层就能被拦截住，防护效果是最佳的。比如，防毒产品能够在用户点击病毒的下载URL的一瞬间将这个URL拦截住，那么病毒在整个生命周期的第一步就被阻止了，病毒样本始终就没有出现在用户的系统中，这对用户的系统来说是最佳的防护。
安全产品应规范评测流程
其实，这种完整的评测流程和方法，在每款产品正式推向市场前，厂商都会经过内部严格的出厂测试，尤其对于安全软件来说，从产品原形到出厂产品，通常是要经过实验室模拟测试、真实环境测试和用户环境测试这三个流程。在此基础上，再通过第三方评测机构的认证，显然，产品的信服力就大了很多。
但当前安全软件市场中，各种第三方评测机构出具的报告让用户看花了眼，今天A机构出了评测报告，明天B机构出了排名……，类似的评测报告每年，甚至每季度都会有，对于厂商来讲，这样的测试报告，或者认证似乎可以增加产品的市场竞争力，但实际上对于为这些产品买单的用户来讲，他们更关心是能不能真的解决问题。
目前，很多评测机构，或是评测报告在公信力方面或多或少都存在让用户质疑的地方，主要原因还在于缺乏统一规范的测试流程，或标准。但从另一角度来看，由于安全防护技术创新速度的特殊性，这样的测试标准的确很难制定，很有可能出现朝令夕改的现象，所以在记者看来，规范安全产品的测试流程不失为更为有效和适用的途径。
与Wildlist（特点：收集病毒样本并共享给其他评测机构）、Virus Bulletin（特点：扫描病毒样本，流程规范而严格，有相当资历，也就是传说中的VB100）、AV-Comparatives（第一家对主动防御提供评测流程及方法的机构）、ICSA（以硬件和网关类产品评测为主）、West Coast Labs（资历较老的英国评测机构）这样各有特色国外专业的评测机构相比，起步相对较晚的国内评测组织，在规范测试流程方面要做更多的努力，才能打破国外评测机构"权威"性的垄断。
