Nueve de cada diez expertos en ciberseguridad recomiendan un antivirus sin azúcar: el tamaño de la muestra importa

Apuesto a que has oído historias similares a la del legendario abuelo que fumaba dos paquetes de tabaco al día y vivió hasta los 98:

«Fulanito dice que nunca ha usado antivirus y hasta ahora no ha tenido problemas de seguridad». «Pues yo no hago copias de seguridad y nunca he perdido un dato». «¿Tú pagas por el software? Eres tonto. Yo me descargo todo por Torrent y me va de cine».

Resulta siempre sencillo encontrar tales casos extremos y, como son dramáticos, están fácilmente disponibles y pueden convencer a algunas personas de que los antivirus y las copias de seguridad son innecesarios. Se trata del clásico error de tomar una instancia específica y generalizarla a ciegas.

La generalización es un sesgo muy humano. Gran parte de nuestra comprensión del mundo en realidad se basa en extrapolaciones realizadas a partir de observaciones en muestras de tamaño modesto. En consecuencia, nuestro comportamiento individual está moldeado por hechos potencialmente incompletos o inadecuados que utilizamos para tomar decisiones. ¡Vaya panorama!

Sin embargo, lo que importa no es el caso individual, que puede o no ser excepcional, sino la probabilidad de morir por fumar o la probabilidad de padecer un incidente de seguridad. Estas probabilidades solo pueden establecerse examinando una muestra grande y representativa de fumadores y de usuarios de Internet.

Las pequeñas muestras pueden hacer que creamos que un riesgo es más alto o bajo que el real

Las personas implicadas en una cantidad pequeña de conductas de ciberriesgo, como por ejemplo descargar contenido ilegal de redes inseguras para compartir archivos, creen que este pequeño número de eventos ilustra completamente su propio perfil de riesgo único. Como se la han jugado y les ha salido bien, se persuaden de que su percepción del riesgo es perfectamente racional y está plenamente formada. Dada la fe humana en la propia invulnerabilidad («esas cosas les pasan a otros, a mí no»), un cálculo más racional habría revelado que han disfrutado de un éxito altamente improbable a la hora de evitar los riesgos de seguridad: les ha tocado el gordo de la lotería de la ciberseguridad.

El problema radica en la pequeña muestra, ya que una pequeña muestra aumenta la probabilidad de que no encontremos una relación particular allí donde existe o encontremos una donde no existe.

Todos, incluso las personas sin conocimientos de estadística, saben intuitivamente que los resultados de muestras grandes merecen más confianza que las muestras más pequeñas. Si en toda tu vida solo has conocido a un único profesional de la ciberseguridad y resultó ser alto, rubio, musculoso y de sonrisa arrebatadoramente seductora, ¿creerías que todas las personas que trabajan en ciberseguridad son varones altos, rubios, musculosos y de bonita sonrisa? ¡Por supuesto que no! Antes de tomar partido, necesitarías ver a más ingenieros de ciberseguridad. ¿A 10? ¿A 100? ¿A 1.000? La cuestión es: ¿a cuántos más? Veámoslo con un ejemplo.

El misterio del hospital en el que algunos días nacían más niños que niñas

Una ciudad cuenta con dos hospitales. En el hospital más grande nacen aproximadamente 45 bebés cada día, mientras que en el hospital más pequeño nacen alrededor de 15 bebés cada día. Como bien sabes, alrededor del 50% de los bebés son niños y el otro 50%, niñas. Sin embargo, el porcentaje exacto varía de un día a otro, a veces puede ser superior al 50%; a veces, inferior.

Durante un año, cada hospital registró los días en que los bebés nacidos niños superaron el 60%. ¿Qué hospital crees que registró más días en los que los varones superaron el 60%?

1. El hospital más grande
2. El hospital más pequeño
3. Aproximadamente lo mismo (es decir, dentro del 5 por ciento uno del otro)

Por favor, antes de seguir leyendo, piénsatelo bien. ¿Lo tienes? ¿Sí? No sigas leyendo aún. ¿Seguro que sabes qué hospital es?

Pues bien, la respuesta correcta no es la C, sino la B. De hecho, los nacimientos masculinos serán el 60% o más de todos los nacimientos en más del doble de días en el hospital pequeño comparado con el grande (su demostración queda como ejercicio para el lector inquieto).

Es muy fácil de entender con el siguiente experimento. Todos sabemos que existe una probabilidad del 50% de que al lanzar al aire una moneda (sin trucar) salga cruz y otro 50% de que salga cara. Sin embargo, lanzar la moneda y que salga cara no implica que en la próxima tirada tenga que salir cruz para compensar la cara anterior. Pero si continúas lanzando la moneda una y otra vez y registras pacientemente los resultados, comprobarás cómo la proporción entre caras y cruces va convergiendo al 50% después de un número grande de veces, por ejemplo, 100 o, mejor aún, 1.000, y no digamos 10.000, pero no solo 2 o 4. Para converger a una distribución normal, debe haber un gran número de eventos. Por el contrario, en lugar de esperar una regresión hacia la media, es fácil interpretar las experiencias pasadas como más representativas de lo que cualquier observación racional sugeriría.

Los resultados extremos se dan más probablemente en muestras pequeñas que en grandes

Este experimento con la moneda ilustra un principio importante, recogido por el autor de Irracionalidad:

«Cuando eventos diferentes ocurren con cierta probabilidad, cuanto más larga sea la secuencia de eventos, más estrechamente se aproximará la frecuencia medida de los diferentes eventos a sus frecuencias verdaderas.«

Y es que los resultados extremos (tanto altos como bajos) se dan más probablemente en muestras pequeñas que en grandes. Cuanto más reducido sea el número de lanzamientos, más aumenta la probabilidad de que se produzca un resultado extremo. Por ejemplo, si lanzas tres veces seguidas una moneda al aire, obtendrás una secuencia de todo caras trece de cada cien veces que lo intentes, comparado con una de cada mil veces con diez lanzamientos. En otras palabras, es más probable que te encuentres con una tirada de todo caras si la tirada consta de tres lanzamientos que de diez.

El principio de regresión a la media nos recuerda que a medida que el tamaño de la muestra crece, los resultados deben converger a una frecuencia estable. Por este motivo es más fácil encontrar en el hospital pequeño días en que los bebés nacidos niños superaron el 60%: al ser la muestra menor, son más probables los resultados extremos; mientras que en el hospital grande los resultados están durante más días más cerca del valor verdadero.

Si estás empezando a dudar de ti mismo, ¡respira aliviado! Ni siquiera los expertos están a salvo de este error de juicio. En su libro Pensar rápido, pensar despacio el psicólogo Daniel Kahneman, laureado con el Premio Nobel de Economía, nos cuenta esta fascinante historia:

«Su trabajo se centraba en el caso de una gran inversión, de 1.700 millones de dólares, que la Fundación Gates hizo para seguir investigando las características de los colegios que ofrecen mejor educación. Muchos investigadores han buscado el secreto del éxito en la educación identificando los mejores colegios con la esperanza de descubrir lo que los distingue de los demás. Una de las conclusiones del estudio era que la mayoría de estos colegios son, de promedio, pequeños. En un estudio de 1.662 colegios de Pensilvania, por ejemplo, 6 de los 50 mejores eran pequeños, lo que supone una sobrerrepresentación en un factor de 4. Estos datos animaron a la Fundación Gates a hacer sustanciales inversiones en la creación de pequeños colegios, en ocasiones dividiendo colegios grandes en unidades más pequeñas. (…)

Esto seguramente tendrá para muchos su sentido intuitivo. Es fácil construir una historia causal que explique por qué los colegios pequeños son capaces de proporcionar una educación mejor y formar colegiales de alto rendimiento, dándoles más atención personal y estímulo del que recibirían en los colegios grandes. Desafortunadamente, el análisis causal es inútil porque los hechos son falsos. Si los estadísticos que informaron a la Fundación Gates se hubieran preguntado por las características de los peores colegios, habrían encontrado que los malos colegios también tienden a ser más pequeños que la media. La verdad es que los colegios pequeños no son mejores por término medio; son simplemente más variables».

No hay que buscarle tres pies al gato. Como concluye Kahneman:

«Las estadísticas producen muchas observaciones que parecen pedir explicaciones causales, pero no se prestan a tales explicaciones. Muchas cosas que suceden en el mundo son debidas al azar, incluidos los accidentes de los muestreos. Las explicaciones causales de acontecimientos aleatorios son inevitablemente falsas».

Nuestra predilección por el pensamiento causal nos expone a graves errores en la evaluación de la aleatoriedad de los eventos verdaderamente aleatorios. De alguna manera, una buena historia nos ciega al razonamiento estadístico. Remata Kahneman:

«Somos propensos a exagerar la consistencia y la coherencia de lo que vemos».

En el corto plazo cualquier cosa puede pasar

La «ley de los pequeños números» o «falacia de los pequeños números» se refiere por tanto a la creencia incorrecta compartida por igual por expertos y legos de que las muestras pequeñas deben parecerse a la población de la que se extraen. O lo que es lo mismo: tienden a esperar que las muestras pequeñas se comporten igual que las grandes.

En realidad, cuanto más pequeña es la muestra, más fluctuaciones estadísticas habrá y más probable resulta encontrar eventos extremos que se desvían del comportamiento general. Un tamaño de muestra pequeño no tiene valor predictivo. Necesitamos un grupo de comparación representativo, un tamaño de muestra lo suficientemente grande y períodos de tiempo suficientemente largos para poder generalizar.

Este sesgo conduce a numerosos errores de juicio, tales como: subestimación del riesgo, sobreestimación del riesgo, confianza indebida en tendencias o patrones, confianza indebida en la falta de efectos secundarios o problemas, etc.

Por ejemplo, en su informe 2018 Internet Security Threat Report, Symantec anunció con grandes titulares un incremento del 8.500% en el número de incidentes de criptominado. Cuando uno observa atentamente los números, comprueba que al principio del año apenas existían incidentes. De manera que ¿es fiable esa exigua muestra como para llegar a porcentajes tan precisos? Lo dudo. Eso sí, como titular llama la atención.

Recuerda que la frecuencia con la que se observa un atributo o evento dado es probable que se desvíe más de su frecuencia en la población en su conjunto en muestras pequeñas que en las grandes. ¡No confíes en las muestras pequeñas! Cuando leas estudios, investigaciones y artículos, piensa siempre en la población representada antes de comenzar a emitir juicio alguno. Este sesgo conduce a la selección de muestras de tamaño inadecuado y a la sobreinterpretación de los hallazgos. Niégate a aceptar tamaños de muestra pequeños. Que nueve de cada diez expertos en ciberseguridad recomienden un antivirus sin azúcar carece de valor ¡si la muestra es de diez expertos!

Y no le des poder sobre ti a las anécdotas.