TheTHE: The Threat Hunting Environment, nuestra herramienta para investigadores

Llega por primera vez a tus manos algún IOC. Pongamos un hash, URL, IP o dominio sospechoso. Necesitas conocer cierta información básica. ¿Es malware? ¿Está en algún repositorio? ¿Desde qué fecha? ¿Whois? ¿País de origen? ¿Está en pastebin? 

Comienzas a abrir pestañas, a meter contraseñas en los diferentes servicios y comienzan las consultas. Con suerte tienes una API compartida con algún compañero de trabajo y después de consultar varios sistemas, abres un TXT para pasar a limpio la información a la plataforma de inteligencia. Tu compañero de trabajo, con el que compartes esas APIs y esas contraseñas pero que está en otro lugar del mundo en tu equipo, hace lo mismo porque también le ha llegado el mismo IOC. Esto se acabó con TheTHE. 

The Threat Hunting Environment 

Hace poco presentamos esta herramienta en la Black Hat 2019 de Londres, donde recibió una muy buena acogida entre su público objetivo: investigadores, SOCs, equipos, empresas de seguridad, CERTs, etc. TheTHE es un entorno destinado a ayudar a los analistas y hunters durante las primeras fases de su trabajo para que sea más sencillo, rápido y unificado. Uno de los mayores problemas a la hora de realizar hunting o investigación de IoCs es lidiar con la recolección inicial de tal cantidad de información de tantas fuentes, públicas y privadas. 

Toda esta información está habitualmente dispersa e incluso a veces es volátil. Quizás en algún punto no existe información de un cierto IoC (Indicador de Compromiso), pero esa situación puede variar en cuestión de horas y volverse crucial para una investigación. Basada en nuestra experiencia en Threat Hunting, hemos creado un framework libre y open source para que las primeras etapas de la investigación sean más simples: 

• Los IoCs son tuyos: no salen de tu plataforma ni son compartidos. 
• Gratis y libre: dockerizado y totalmente tuyo. 
• Arquitectura cliente servidor: La investigación puede ser compartida con tu equipo. 
• Los resultados son cacheados para que no se malgasten peticiones a las APIs. 
• Alimenta mejor tu Threat Intelligence Platform: TheTHE permite que las investigaciones previas sean más rápidas y sencillas. 
• Plugins fáciles: cualquier cosa que se necesita es fácilmente incrustable en la interfaz.
• Ideal para SOCs, CERTS y cualquier equipo. 
• Las APIkeys se almacenan en una base de datos y pueden ser compartidas por un equipo desde un único punto. 
• Automatización de tareas y búsquedas. 
• Procesamiento rápido de API de múltiples herramientas. 
• Unificación de la información en una única interfaz: para que así las capturas de pantalla, hojas de cálculo, archivos de texto, etc. no estén dispersos. 
• Enriquecimiento de los datos recogidos (en próximas versiones). 
• Monitoreo periódico de un IOC en caso de que aparezca nueva información o movimientos relacionados con él (en próximas versiones).

TheTHE dispone de una interfaz donde el analista introduce los IOCs que serán enviados al backend. El sistema automáticamente buscará esos recursos (a través de plugins) en varias plataformas ya configuradas para obtener información uniforme desde diferentes fuentes y acceso a reportes relacionados o datos ya existentes.  

Detalles de esta herramienta 

TheTHE es un framework modular open source desarrollado en Python 3 que permite la consolidación y el análisis de información de manera local en una base de datos MongoDB y Elasticsearch, sin compartirla con otras plataformas hasta no tenerla debidamente ordenada, relacionada y sintetizada, lo que permite que si la información debe ser analizada posteriormente en cualquier otra plataforma (como un Threat Intelligence Platform), lo haga de la forma más enriquecida posible. Es una herramienta única en su categoría que permite ayudar a los analistas y hunters a realizar sus tareas de investigación de una manera más ágil y práctica. 

TheTHE es un framework que funciona de manera local. Hoy en día cuenta con módulos pasivos de obtención de información y con módulos activos, que a su vez permiten: 

• Obtener, de manera automática, información de múltiples fuentes públicas y privadas (configurando las propias cuentas y APIs configurables del usuario) tales como Hunter.io, Maltiverse, Shodan, Sherlock, etc. 
• Ejecutar pruebas y consolidar la información desde otras herramientas como Cansina, etc. 

¿Cómo funciona? 

TheTHE se basa en proyectos. Un proyecto es un contenedor de IoCs relacionados, por ejemplo. Se crea un proyecto para un conjunto de usuarios o para una investigación específica. 

En cada proyecto hay seis menús principales basados ​​en el IoC inicial con el que se esté trabajando. Según el IoC que se introduzca, TheTHE intentará clasificarlo en el menú apropiado: 

• Network: direcciones IP básicamente. 
• Domain: sólo dominios, algún TLD. 
• URL: si el dominio contiene una ruta entonces es una URL. 
• Hash: algún hash, MD5, SHA1 y SHA256. 
• Emails 
• Usernames: cualquier cadena que no esté en ninguna otra categoría será tratada como nombre de usuario. 

Dentro de cada menú, se cargará la información mínima requerida para procesar la información. Una vez dentro, se pueden elegir los plugins apropiados para cada categoría que se pueden aplicar a cada IoC. 

Cuando se está utilizando un plugin, la tarea se pone en cola y los resultados se muestran cuando se recupera la información necesaria. Todas las tareas se pondrán en cola de forma asincrónica, y el trabajo puede continuar mientras se calculan los resultados. En caso de utilizar servicios de terceros en la red que necesitan consumir APIs con APIkeys, estos se almacenarán en el servidor principal y todos los usuarios podrán utilizarlos de forma remota. Los resultados se almacenarán en caché de forma indefinida, para así no utilizar solicitudes si ya lo ha hecho otro miembro del equipo. Los resultados pueden actualizarse previa petición. 

Dependiendo del resultado del plugin, se creará una nueva etiqueta cuando se seleccione el IoC. Las etiquetas se pueden usar para clasificar mejor su trabajo y pueden utilizar colores y nombres. Las etiquetas estarán disponibles para el mismo proyecto una vez creadas. 

Futuros trabajos

• Supervisar los IOC específicos mediante plataformas en caso de que puedan aparecer nuevos datos en el futuro. 
• Monitorear los cambios en las infraestructuras que se estén investigando en caso de fallo o por si aparecieran nuevas amenazas. 
• Guardar un historial local de las investigaciones realizadas. 
• Acceder a la información de manera consolidada en una base de datos local desde una interfaz web. 
• Almacenar de forma segura las diversas claves API y la preconfiguración de consultas procedentes de docenas de plataformas públicas y privadas. 
• ¡Muchos más plugins!

Tienes el código y la descarga en GitHub.