Enhorabuena ganadores del reto LUCA «Antibias AI»

En el post de hoy, los ganadores del reto LUCA Antibias AI, Jenifer Alexandra Ramirez Florez, Gabriel Arcángel Bol y Claudia Avila Cueva, nos cuenta en primera persona por qué eligieron este reto para su TFM y cómo lo afrontaron

En la búsqueda y definición de un tema para el trabajo de fin del Máster de BI y Data Science que estuviese relacionado a un caso real, donde pudiésemos realizar investigación y a su vez contribuir a la sociedad, encontramos los retos propuestos por LUCA. De dicha convocatoria, nos interesaron los planteamientos que tenían sobre “Anti-Bias AI”, por lo cual de la mano del Dr. Richard Benjamins, Data & AI Ambassador Telefónica,  iniciamos esta exploración.

El problema

Se sabe que la IA sigue tomando fuerza y las decisiones basadas en sus predicciones son cada vez más frecuentes. Con el paso del tiempo estas herramientas se van optimizando y el entrenamiento de los sistemas ha permitido adquirir ciertos niveles de precisión y exactitud en los algoritmos.

Sin embargo, existen problemáticas como la presencia del sesgo algorítmico, en los que el uso de dichos modelos puede incurrir en algún tipo de discriminación, generando así más desigualdades, y por ende, dando lugar a una serie de daños colaterales. En consecuencia, uno de los aspectos por profundizar son los relacionados a crear marcos metodológicos y/o el uso de herramientas que impulsen la equidad y el uso responsable de la IA. 

Las herramientas

Para analizar este problema se evaluaron diferentes instrumentos que permitieran detectar y mitigar sesgos en algoritmos de inteligencia artificial. Basado en este objetivo nos enfocamos en seis aplicaciones, considerando que fuesen open source, estuviesen construidas en Python, auditasen modelos predictivos, y que se pudiesen implementar en entornos de fácil acceso. Resultando seleccionadas las siguientes: Audit-AI (Pymetrics), Aequitas (University of Chicago), FairML (Julius Adebayo), What-if Tool (Google), AIF360 (IBM), y FairLearn (Microsoft).

Para la evaluación de estas herramientas tomamos como referencia el dataset del modelo COMPAS (Correctional Offender Management Profiling for Alternative Sanctions – Dataset público y aplicado a un caso real), con el que se evaluaron diferentes métricas de detección de sesgo y conceptos de equidad. Poniendo a prueba los demos webs, y la ejecución de forma local de los notebooks de ejemplos de cada una de las herramientas. Por último, se revisó el concepto de equidad sobre el cual cada herramienta se enfoca.

Conclusión

Como conclusión, se corroboró que todas las herramientas detectan el sesgo, pero muy pocas lo mitigan. Adicionalmente, las comparamos bajo diferentes criterios; cuál era la más completa, cual está mejor documentada,  que nivel de conocimiento es necesario para el uso de estas herramientas y qué definiciones de equidad aborda.

A la fecha de su revisión, varias de las funcionalidades de mitigación aún se encontraban en desarrollo, por lo tanto, todo lo que decían que hacen, de momento no lo hacían. Por otra parte, se tuvo la limitación de disponer de diversos modelos y datasets públicos que pudieran ser analizados, lo cual no permitió profundizar en casuística. Ello considerando, que el concepto de equidad presenta una diversidad de definiciones y la discusión sobre cuál modelo matemático resuelve estos problemas sigue vigente y resulta ser un reto aún muy complejo (intercambio de maximizar precisión y minimizar sesgo).

Un auténtico reto

La experiencia fue como su nombre lo indica un reto, iniciamos sin saber cómo abordar y estructurar el tema de investigación. Felizmente, pudimos contar con nuestros tutores de la UAH (Miguel Angel Sicilia) y de Telefónica (Richard Benjamins), quienes nos asesoraron y acompañaron a lo largo del TFM. Otro aspecto retador fue el trabajo grupal, lo que en un comienzo se contrastaba dadas nuestras diferentes experiencias previas en trabajos académicos. Además, trabajamos a distancia, ya que no todos nos encontrábamos todos en España y los horarios diferían. Por último y no menos importante, teníamos diferentes opiniones para organizar la presentación, estructura del trabajo, e incluso los títulos de las secciones en inglés!

Todo esto, más que dificultades han sido experiencias muy enriquecedoras, ya que logramos que cada uno aportará su punto de vista, y desde esa confluencia de ideas, logramos dar lo mejor de nosotros. Al fin y al cabo eso es lo más importante, superar nuestras diferencias, conjugar nuestras cercanías para colaborar con una sociedad donde se promueve la equidad. Cada uno de nosotros suma y cada uno de nosotros cuenta, ¡todos somos importantes!

Escrito por Jenifer Alexandra Ramirez, Gabriel Arcángel Bol y Claudia Avila Cueva.

Para mantenerte al día con LUCA visita nuestra página web,  suscríbete a LUCA Data Speaks o síguenos en Twitter, LinkedIn y YouTube.