LUCA Ethics: Modelos más justos para una sociedad igualitaria

Durante los últimos años, LUCA ha ayudado a las organizaciones a tomar decisiones más objetivas basadas en grandes cantidades de datos y algoritmos complejos de Inteligencia Artificial. En numerosas ocasiones, la automatización de estas decisiones lleva implícita la introducción de sesgos humanos no deseados en el contexto sociodemográfico, político o religioso, llegando a promover comportamientos injustos o discriminatorios en la población.

Con el objetivo de garantizar que los servicios proporcionados por LUCA no conduzcan a resultados con sesgos injustos y discriminatorios, se ha desarrollado una metodología comprometida con la ética en la Inteligencia Artificial. Dicha metodología disminuye los efectos del sesgo en el aprendizaje automático, consiguiendo así, modelos con resultados más justos y comprometidos con una sociedad igualitaria.

La metodología LUCA Ethics

La metodología propuesta, llamada LUCA Ethics, se sustenta del conocimiento en materia del fairness en Machine Learning generado en la comunidad científica durante los últimos años.

A continuación, se describen las dos principales fases del proceso:

Análisis: Esta fase consiste en la realización del diagnóstico del fairnessde un modelo. Abarca la identificación de las variables sensibles, el descubrimiento de proxies y la cuantificación del sesgo según el criterio de separación, o, mejor dicho, una versión relajada del mismo, igualdad de oportunidades. Este criterio consiste asegurar que de la salida del modelo actual cumpla con la siguiente premisa: las tasas de verdaderos positivos de todos los grupos sensibles deben ser iguales. De esta manera se asegura que la proporción de aciertos positivos es igual para todos, equiparando así las oportunidades de los grupos no privilegiados. Esta fase es fundamental para conocer el estado del modelo antes de aplicar las correcciones.
Corrección: Esta fase consiste en la corrección del sesgo detectado según el criterio de justicia seleccionado. Para ello, se aplican técnicas de post-procesado no invasivas, que únicamente precisan la salida del modelo analítico y no requieren de variables de entrada para realizar la corrección. Esta técnica consiste en optimizar el threshold de salida del modelo individualmente para cada uno de los grupos sensibles, de tal forma que se consiga la misma tasa de verdaderos positivos y se optimicen el resto de las métricas.

Como resultado de aplicar dicha metodología, se genera una visualización interactiva que permite consultar el sesgo de los modelos analíticos en materia de justicia y aplicar técnicas correctivas para permitir ajustar los resultados en base a distintas necesidades.

Un ejemplo de aplicación

Tomando como referencia un problema de clasificación binaria en el que existe una variable sensible con dos categorías, se puede construir un modelo de clasificación y visualizar la curva ROC con respecto a cada categoría sensible (imagen de la izquierda) y las métricas de precisión y recall del modelo sobre el conjunto de test (imagen de la derecha).

Con la metodología propuesta se alcanza la misma tasa de verdaderos positivos (recall) en ambas categorías sensibles mediante la optimización del umbral de decisión de cada una de ellas por separado. En este ejemplo, si deseamos una tasa de verdaderos positivos de 0.65, necesitamos que los threshold sean de 0.37 y 0.47 en los grupos azul y naranja, respectivamente. Esto resulta en una precision de 0.67.

La metodología propuesta abre un nuevo camino hacia la implementación de mecanismos que ayuden en la mejora de nuestros sistemas y permitan alcanzar la igualdad y la justicia social dentro de la inteligencia artificial. Por ello, es nuestro deber seguir trabajando en la inclusión de esta filosofía y conseguir que el fairness sea una premisa en el diseño de nuevos algoritmos.

En el siguiente post os contamos, usando como ejemplo un modelo de «scoring» para concesión de créditos bancarios, distintas estrategias para asegurar la obtención de resultados más justos.