2013年 May月 9日
前进一步,后退两步
2013年5月9日
尤金·卡巴斯基
“世事都应该慢慢地发生,偶尔事与愿违,这样我们就不能超越自己,所以我们仍然痛苦和困惑”
莫斯科地铁站
我从没想过在谈论杀毒行业时,会用到这句话,但它就是这样冒出来了。你知道的,世界上所有的事情都不可能一帆风顺。经济的现实和新客户的需求往往会设法将好的事情引向黑暗的一面。这一次,反病毒(AV)界最知名的测试实验室之一 – AV-TEST – 已经屈服了。
对比试验:为外行人提供的一点背景知识
你是怎样去挑选最好的任何特定产品的?你怎么知道它是最好的?好吧,你可能会开始寻找一本专业杂志或网上类似的对比试验结果。我敢肯定这对你来说不是什么新消息了。反病毒解决方案也是如此 – 一些测试实验室对大量的防病毒产品进行评估和比较,然后公布测试结果。
现在,由于某些原因(下面我会试着去猜测到底是为什么)德国知名的测试实验室AV-TEST已悄然(毫无预警)地修改了其认证过程。这些变化意味着新的规则所产生的证书,说得委婉些,对于评价不同的反病毒产品优势是相当无用的。
是的,没错。我正式宣布,家庭用户反病毒解决方案的AV-TEST认证不再能够对产品质量进行充分的比较。换句话说,我强烈建议不要以他们的证书列表作为向导来选择解决方案,以保护您的家用电脑。我们很自然地以为两种具有相同认证的产品,其性能必然相等(或接近相等)。然而根据AV-TEST新的认证标准,用户必须自己仔细地调查每个单项测试的实际结果…他们可能会发现,能够抵御99.9%攻击的产品,与那些只能抵御55%攻击的产品具有相同的“认证”。
现在,让我们来仔细看看到底发生了什么以及到底是为什么 – 或称之为解释AV-TEST结果的速成班。
理想的反病毒解决方案公式在很久以前就发明了。它是这样的:
- 100%的保护和0%的误报。
- 对系统资源零影响。
- 不给用户造成任何问题。
(4. 而且,如果我们想进入那个幻想国度,那么一切服务必须完全免费提供。)
显然,这种理想是不可能实现的,但我们至少可以朝着它努力,特别是:
- 抓住尽可能多的恶意程序,如果发现任何问题 – 能够处理感染问题(能够将保护程序安装在被感染的计算机上)。
- 减少误报的风险 – 如果发生误报,则尽快予以解决。
- “我们的知识没有界限,”我的一位好朋友这样说到,优化系统内存的使用、处理器的运行时间、通过互联网更新信息的数量和大小也没有任何界限。当然,这些工作都不能对安全级别产生任何影响。
这一切听起来都非常简单。但一般用户遇见几十种防病毒产品时应该怎么做呢?哪一个更好,为什么?谁能够将它们按照“理想的反病毒解决方案”标准进行排序呢?(请记住,所有这些产品都会承诺它是最好的。)
因此,我们能相信谁告诉我们的真相呢?当然是独立的测试机构。然后我们自然而然就想到了AV-TEST。
几年以前,AV-TEST团队创造了很好的测试产品的方法,为了获得证书,所有产品必须在每个测试类别中表现得近乎完美的..产品按照下列三个标准进行测试:
- 保护(预防感染);
- 修复(清理现有的感染);
- 可用性(易于使用、性能、以及误报数量)。
根据测试结果(总积分)决定颁发或不颁发证书(视情况而定)。我们支持这一系统,并支持它作为对比试验“超级联赛”中其他测试者的榜样。
那么,到底AV-TEST发生了怎样的质变?为什么我们不再相信其认证系统了呢?
首先,获取证书的必备性标准已经改变了。重要的修复认证参数被丢弃了。如果反病毒解决方案能够检测到感染,但不能解决感染问题又有什么意义呢?(试想一下,在牙医诊所:“哦,你已经有了蛀牙,但我们不会治疗 – 我们无法治疗它!”)不久前我们发现,世界上约有5%安装了反病毒软件的计算机被感染!概率为二十分之一!显然,反病毒解决方案消除活跃感染的能力得到了世界各地数以百万计的人们的高度重视。
他们相信AV-TEST已经承诺要建立一个单独的、更进步的修复测试…但是这不会再对产品的认证结果产生影响,并且,最重要的是,这个测试将可供自由选择!如果安全供应商怀疑其产品的问题处理能力,他们可以不选择参加测试从而避免获得不好的测试结果。至少,这样我们可以看出谁参加了测试,以及他们的表现如何,这本身将是一个很好的指标能够表明某个反病毒解决方案为您的计算机提供的保护程度。
其次,认证的门槛降低了 – 可能在18的总分中你只要获得10分就能获得一个“奖项”。
第三,可用性现在只指误报。现在的可用性标准相比于之前的包括性能在内的可用性标准简直是天差地别。鉴于目前更改后的AV-TEST测试标准,倒不如把误报列入保护类别作为一种补偿呢(反正其他大部分测试实验室都是这样做的)。
那么,AV-TEST认证过程的突变会产生什么影响呢?
首先,他们的认证将严重贬值。测试参与者的数量将增加 – 从前,一些反病毒供应商不去参加测试是因为他们知道他们的保护等级是不可能有机会获得证书的。现在,几乎每个人都能从AV-TEST获得奖项,只有那些最无用的不在其列。
事实上,根据这些降低了的标准,可以得出一个合理的结论,即任何一个基本的反病毒程序都能够从AV-Test获得“合格证”。为什么不呢?没有必要去寻找新的恶意软件 – 你只需要能够监测公共在线多引擎扫描仪(如VirusTotal)的流量。也不需要分析任何东西 – 只需设置一个多扫描仪并“检测”其他程序已经检测过的文件(使用MD5进行检测确保没有任何报错)。然后设计一个接口,添加一个小更新器,插入几个窗口功能以模拟持续保护,在系统托盘内插入一个图标,然后将所有的东西打包在一个安装程序内,大功告成!把它发给AV-TEST,然后就等着你的证书吧!
基本上,评估安全性技术和“可用性”之间的平衡已被打破。单项测试结果仍然是有效的,那些安全行业的书呆子们也将继续密切关注测试的结果。但不幸的是,AV-TEST认证门槛的降低,意味着这个认证对那些试图在购买反病毒解决方案时,根据AV-TEST认证结果做出明智决策的普通用户几乎是没什么用了。
现在你们明白了吧…我们继续下一个问题。
问题是:到底是为什么AV-TEST要这样做呢?为什么把事情变成对他们自己和其他人都没有好处?
对于真实的原因我们知之甚少(AV-TEST对所做的变化几乎没有任何解释)但我们可以试着自己去分析找出答案。首先我们需要从经济方面看看测试业务。
是的,测试是一项有其自己经济规则的业务。这一点我很清除。开展一项好的测试不只是需要人的智力,还需要投入基础设施、办公用地以及支付工资。和许多企业一样,它也有质量和利润之间的相关性。有时候,企业会自觉降低质量来增加利润。在短期内,这种做法真的可以获得回报。但从长远来看,它会导致企业退化和被遗忘。
可能是这个原因吗?最难的一项测试 – 处理受感染的系统(修复) – 已从“义务程序”中被删除了。现在,你需要做的就是在恶意软件和干净文件的集合中测试产品…瞧!
是的,新的测试程序可能会给AV-TEST带来新的客户,他们会很乐意抛出自己的“奖牌”,这样每一个杀毒网站都有一个。但这样一来测试实验室将失去它的独特性,以及整个行业所依靠的那些更加注重技术的反病毒供应商的信赖。
我当然不是批评他们想要赚钱的欲望。有正确的重点才是衡量一个企业的成功及其产品和服务的质量的良好标准。当然,这样也有助于进一步提高质量,并满足大家的利益,从而使其赚取更多的钱。测试行业也不例外。该领域的许多公司在多元化发展的道路上走下坡路,他们引入新的技术利基(AV-TEST也在此行列),不仅向深处挖掘也向广处挖掘,以改善他们的行业回报率。或许追求额外的一些小恩小惠将导致整个主流的下降,使其判决贬值至以公平的价格即可获得“人手一个证书”的水平。
写一个逻辑问题是 – 为什么我们的产品还包括在AV-TEST系统内呢?
首先,我们的原则立场是测试越多,评估越客观。我们什么都不怕。我们对我们的技术和保护等级有信心,如果我们对某个测试或其他测试有任何不满,我们也会直接公开说出来。
此外,AV-TEST还有很多其他有用的测试和认证,包括企业和移动产品部分。处理功能对企业客户来说没有家庭用户那么重要。即使是在小公司,通常也会有一个系统管理员和备份复制,这两样加在一起也能击败防病毒产品无法处理的感染。
To sum up总而言之
- 有了这一新的认证过程后,我们不建议用户在选择保护其家用计算机的解决方案时以AV-TEST认证作为参考。
- 然而,我们认为参考一下保护和性能类别的单独测试结果以及其承诺的修复测试结果也是可以的。再次声明,我们不是不同意他们的单项测试方法…我们只是在讨论要获得“合格证”,应将哪些分数纳入考虑范围之内。
- 为AV-TEST的利益考虑,建议其听听反病毒界专家的意见,以便创建一个真正充分的认证体系,帮助用户在选择产品时作出明智的决定。这包括,例如,退回到反恶意软件测试标准组织(AMTSO)以及几乎所有领先的供应商和行业专家代表的争论点。