Nuevo Informe: Certificate Transparency Mining, hasta un 10% de mejora en la enumeración de subdominios «de calidad»

Pese a estar concebido como un mecanismo para el refuerzo de la seguridad durante la navegación web, Certificate Transparency proporciona unas capacidades laterales muy interesantes y diferentes respecto a su propósito original. Ese registro de certificados, que contiene un histórico del uso, periodos de validez y fechas de expiración, ofrece en realidad un conjunto de datos apto para diversos procesos de minería de datos.

Durante nuestro seguimiento de Certificate Transparency que hemos venido siguiendo en los últimos tiempos con especial interés, y realizando una serie de investigaciones al respecto, hemos podido comprobar cuánto juego puede llegar a dar. El primer uso, casi obvio, es poder utilizarlo como un sistema para reconocer los subdominios de las empresas, incluso los internos, algo que no ha estado exento de debate.

A modo de ejercicio, hemos realizado este extenso informe que pretende evaluar si el uso de Certificate Transparency supone alguna mejora respecto a los mecanismos «clásicos» de enumeración de subdominios, que es una de las pruebas habituales de pentesting usada para valorar la seguridad y vulnerabilidad de un objetivo online. La respuesta es que sí, y que ya hemos integrado este nuevo paradigma en nuestros sistemas para dos fines:

• Mejorar FaasT, la herramienta de pentesting persistente.
• Utilización de este sistema para minería de datos general, relacionado con la vigilancia de qué información es filtrada al exterior.

Siendo la enumeración de mecanismos «clásicos» una de las pruebas habituales de pentesting usada para valorar la seguridad y vulnerabilidad de un objetivo online, decidimos realizar un experimento para comprobar no solo cómo lo mejoraba (que estaba claro) sino en cuánto.

Cualquier proceso de análisis de seguridad de algún sistema requiere una fase inicial de captura y recogida de información sensible y útil, a partir de la que se pueden realizar el resto de pruebas de resistencia, riesgos de seguridad y detección de vulnerabilidades. En este proceso inicial resulta clave la enumeración lo más exhaustiva posible de los dominios y subdominios utilizados por la organización. Éstos apuntan directamente a servidores, servicios y hosts expuestos que ofrecen información relevante sobre la infraestructura del sistema objetivo. En nuestro experimento, hemos seleccionado como objetivos tres sectores bien diferenciados para comprobar cómo de expuesto se encuentra cada uno de ellos, y cómo el Certificate Transparency Mining puede ayudar a visualizar nueva infraestructura «oculta» pero pública. En este caso, nos hemos decantado por experimentar sobre dominios de tres sectores diferentes:

• Educativo
• Bancario
• Gubernamental (Administración pública)

De cada uno de ellos hemos elegido cinco dominios muy representativos y realizados las pruebas clásicas de enumeración. Después, los hemos enriquecidos con Certificate Transparency Mining y hemos comparado resultados.

Existen muchas herramientas «clásicas», suites y técnicas para la obtención de subdominios (incluso algunas que ya introducen algo de Certificate Transparency). Cada una de ellas tiene un menor o mayor encaje según requisitos de velocidad, mecanismo a usar, tipo de objetivo, etc. Entre todas ellas, nos hemos quedado con el siguiente subconjunto de utilidades que abarca bien las opciones disponibles de un analista de seguridad:

• Herramientas online: Pentest-tools, DNSdumpster,Shoda y VirusTotal.
• Herramientas offline: The Harvester, (ejecutada con resolución DNS y con búsqueda inversa), DNSRecon, fuerza bruta con dos diccionarios de tamaños distintos (10k y 101k) y Sublist3r.

Para establecer el contraste, las pruebas internas referentes a Certificate Transparency se han realizado utilizando nuestra tecnología Kalkan y su capa enriquecida de servicios. Una herramienta interna en plena fase de desarrollo en nuestro laboratorio.

La pauta de nuestro estudio responde a unos principios muy básicos:

• Evaluación individual de cada una de las pruebas utilizadas obteniendo métricas sobre tiempos de respuesta y cantidad de subdominios encontrados. 
• Minería de subdominios junto a un análisis pormenorizado de los resultados obtenidos para valorar la precisión y calidad de los datos obtenidos. 
• Comparativa de cada prueba respecto a los datos obtenidos usando exclusivamente CT.
• Comparativa agrupada de las técnicas «clásicas» respecto a CT, obteniendo unas conclusiones de carácter global.

Nuestro estudio expone las diferencias entre las técnicas tradicionales de búsqueda de subdominios frente a los resultados que obtenemos solo con CT, mostrando ventajas y desventajas, y siempre atendiendo a una serie de variables parametrizables. Al haber comparado uno a uno los subdominios, hallando coincidencias y descartando datos erróneos (subdominios inactivos o extintos), hemos realizado un proceso exhaustivo de minería para recabar la información que creemos precisa y minuciosa. El resumen cualitativo queda recogido en la siguiente tabla, que demuestra que no existe una prueba definitiva ni un mecanismo absoluto más certero, sino que solo con una combinación de varios se pueden conseguir una enumeración de dominios de gran calidad.

De la tabla anterior, podemos inferir bastante información. Por ejemplo, si bien TheHarvester (N) fue la que arrojó el mayor número de
resultados, a nivel cualitativo esta técnica adolece de una serie de
problemas que lastran su puntuación global: su lentitud, escaso
saneamiento, su alta mutabilidad y sobre todo su baja accesibilidad..

Aunque, además de, como efecto colateral, demostrar las ventajas de unas pruebas sobre otras, nuestro objetivo es reforzar que Certificate Transparency es un mecanismo, que, sin estar específicamente destinado a ello, aporta un valor diferencial y supone una mejora clara sobre las técnicas tradicionales. Aportando, no solo un conjunto de subdominios que no se localizaría utilizando las herramientas clásicas, sino que además, esa cantidad de elementos encontrados tienen una tasa menor de dominios inactivos o erróneos para posteriores fases de pentesting.

La siguiente figura resume de manera muy global tal afirmación y demuestra que CT va a ser una fuente de información de enorme interés para este tipo de pruebas. Cuyo pronóstico de crecimiento y aceptación incrementará su usabilidad y eficacia desde el momento en que su uso se generalice y sea soportado por todos los navegadores de forma oficial.

En esta gráfica, se resume principalmente que:

• Del total de subdominios únicos encontrados en cada una de las categorías, un 81% (25031) corresponde a las herramientas tradicionales y clásicas de enumeración mientras que Certificate Transparency aporta un 13% de información «diferente».
• Entre ambas técnicas hay un 6% (2014) de subdominios compartidos. Esto quiere decir que Certificate Transparency Mining no sustituye a las herramientas clásicas, sino que las complementa y enriquece.
• De ese 13% de subdominios encontrados por Certificate Transparency Mining que no hubieran sido encontrados de otra forma, un 10% (3057) se encuentran activos, mientras que solo el 3%(803) restante están inactivos. Lo que indica que Certificate Transparency Mining dispone de información muy actual y veraz.

Podéis acceder a nuestro informe completo a continuación, realizado durante la segunda mitad de 2017, pero cuya base científica y resultados han guiado pautas de nuestra investigación y desarrollos hasta principios de 2018.

Como efecto secundario del informe, hemos podido llegar a comparar qué
herramientas de enumeración «clásicas» son más o menos eficientes y
eficaces teniendo en cuenta diferentes parámetros. Algunas gráficas
resultan bastante autoexplicativas, aunque invitamos a la lectura
completa del informe para una mejor comprensión.