VirusTotal no debe ser utilizado para comparar antivirus

Es muy normal que se utilice el servicio de VirusTotal (VT), o servicios similares, para comparar el rendimiento de los distintos antivirus (AV) y medir la efectividad de los mismos en base a los resultados obtenidos al enviar una muestra de malware determinada.

También se suele usar este servicio como herramienta de marketing, cosa que los mismos desarrolladores de VT (Hispasec) no recomiendan hacer, debido a que no es el objetivo con el que fue creado este importante sitio.

En realidad, utilizar VT para comparar antivirus es un error y mostrar los resultados del análisis de una muestra determinada es una cuestión de oportunismo y la detección (o no) estará determinada por algunas cuestiones como las siguientes:

• VT utiliza la versión de línea de comandos de cada AV y las condiciones en que son evaluados los archivos no son las mismas que suceden en los equipos del usuario.
• VT explora archivos recibidos y almacenados en disco a través de línea de comandos (técnica de detección pasiva) . Si un producto determinado está preparado para explorar un archivo mientras es descargado al navegar (vía protocolo HTTP) puede ser capaz de hallar un archivo infectado antes de que el mismo sea explorado en disco. Por ende, si alguien envía ese archivo a VT y no es detectado, no quiere decir que el AV no está cumpliendo su función, de hecho lo está haciendo mejor que el resto porque no deja que el archivo sea grabado a disco
• Las técnicas de detección por comportamiento y heurística (técnicas de detección activas) pueden verse reflejadas en un entorno real, pero algunas de ellas no pueden ser reproducidas en el sistema de detección pasivo de VT
• Los niveles de heurística (bajo, medio, alto, paranoico, avanzado, etc.) puede no ser el mismo en el equipo del usuario y el configurado en VT. Algunas empresas pueden tener configurado un nivel paranoico en VT debido a que eso le conviene ya que detectará más archivos pero, ¿alguien revisa los falsos positivos que esto genera?
• Como corolario del punto anterior, los falsos positivos de un AV pueden favorecerlo porque será el que más muestras detecte
  
• Las detecciones en tiempo real (utilizada por todos los AV) mientras se intenta abrir/ejecutar un archivo puede no ser la misma que la detección a través de la exploración de archivos en disco (utilizada en VT)
• Si la comparativa es realizada con colección de malware (miles de archivos), los mismos puede no aplicar para realizar una evaluación debido a que no se tiene un contexto activo para evaluarlos. Por ejemplo no es lo mismo comparar malware de Windows, con DOS, con Mac OS, con Linux, con archivos PHP, con un correo de spam o de hoax, etc.
  
• La realización de comparativas AV debe ser desarrollada por personas experimentadas en el área de investigación de malware y no consiste, como suele creerse, en tomar miles de archivos y explorarlos contando qué AV detecta mayor cantidad de archivos dañinos

Por eso, VirusTotal debe ser utilizado para lo que fue creado: enviar una muestra para conocer si la misma podría ser un archivo dañino, o no. Si bien esto es muy útil para muchos investigadores (y también para creadores de malware), no significa que pueda o deba ser utilizada para comparar soluciones antivirus.

Por los puntos mencionados, que un grupo de AV detecte (o no detecte) una muestra determinada no significa que sea mejor (o peor) que un grupo que no (o sí) la detecta. Esta aclaración viene a colación a lo realizado por los amigos de Security by Default, quienes se merecen el mayor de mis respetos por el trabajo que hacen día a día y debido a que su comparativa puede ser malentendida por algunos usuarios, si bien aclaran que lo hacen como un juego.

Para conocer más sobre técnicas de comparativas sugiero la lectura de las metodologías de comparación de antivirus realizadas por expertos en la materia y además hacerle caso a los creadores de VT: no utilizar su servicio para comparar peras con manzanas.

Por otro lado la mejor medida de seguridad sigue siendo el sentido común, el menos común de los sentidos.

Cristian de la Redacción de Segu-Info

Suscríbete a nuestro Boletín