¿Cómo crear una Inteligencia Artificial «verde»?

¿Sabes lo que es la «inteligencia artificial verde» o «green AI«? Efectivamente, se trata de hacer un uso de la inteligencia artificial de forma que sea más inclusiva y respetuosa con el medioambiente. Hace pocos meses, ya hablamos en nuestro blog sobre una de las posibles iniciativas encaminadas a conseguir una Inteligencia Artificial más verde, los «centros de datos verdes». En este post, nos enfocaremos en los aspectos relacionados con los datos, y el entrenamiento de algoritmos y modelos.

¿Contamina internet?: Centros de datos “verdes”

La potencia de cálculo necesaria para entrenar la IA está aumentando más rápido que nunca. Siguiendo la Ley de Moore, de 1959 a 2012, se ha duplicado cada dos años. Éste hecho no sólo se traduce en la explosión de las emisiones de carbono. También dificulta que los laboratorios académicos compitan con los privados más ricos.

Inteligencia artificial verde: «Green AI»

En julio de este año, un equipo de investigadores del Instituto Allen Institute para la IA, la Universidad Carnegie Mellon y la Universidad de Washington presentaron un estudio sobre cómo hacer un uso más “verde” de la Inteligencia Artificial.

En este estudio, se plantea si la tendencia actual de hacer un uso masivo de recursos de computación para obtener cada día una mayor precisión (o mejoras en la métrica de rendimiento elegida), merece la pena o no.

¿Cómo medir los recursos que consume la IA?

¿Cómo podemos cuantificar estos recursos? Hay que considerar tres factores principales. Por un lado, está el volumen de datos de entrenamiento, que impacta sobre el tiempo dedicado a entrenar los modelos. Por otro lado, el tiempo de ejecución del propio modelo. Y, por último, el número de iteraciones necesarias para optimizarlo.

El estudio propone que el coste general de un modelo de aprendizaje automático es proporcional al producto de procesar una sola muestra o ejemplo (E), multiplicado por el tamaño del dataset de entrenamiento (D), por el número de iteraciones de optimización de los hiperparámetros (H).

Por ejemplo, el coste de entrenar AlphaGo, está estimado por un estudio de la revista nature en 1000$ /hora. Entrenar algoritmos con grandes corpus de unas 40.000 millones de palabras como FAIR´sRoBERT puede llegar a 25000 horas de GPU.

Algoritmos y modelos ecológicos

¿Cómo podemos medir si un desarrollo basado en IA es ecológico? Lo suyo sería poder medir la huella de carbono del modelo, su consumo eléctrico o los tiempos de entrenamiento. Sin embargo, todos estos aspectos tienen una gran dependencia del hardware y hacen difícil comparar modelos distintos. Algo parecido ocurre con métricas más “técnicas” como puede ser el número de parámetros o el número de operaciones en coma flotante (FLOP) .

El número de parámetros que maneja el modelo está relacionado con el uso de recursos de memoria y por tanto, con la cantidad de energía requerida. Por su parte, FLOP, está relacionado con el número de operaciones aritméticas básicas que realiza el modelo, y tiene la ventaja de ser independiente del hardware. Sin embargo, aunque existen librerías que calculan su valor, y estudios que los reportan, no es una práctica extendida, ya que un mismo modelo puede tener diferentes implementaciones.

¿Cómo ser un «green-data scientist»?

En cualquier caso, y a título individual, sí que hay cosas que puede hacer el científico de datos de a pie para ser un “Green data scientist”.

Lo primero, tener en mente la ecuación propuesta y considerar por separado cada uno de los elementos. Esto nos lleva a plantearnos preguntas como:

¿Realmente necesitamos un conjunto de datos de entrenamiento tan masivo?

Podemos incluso llegar a preguntarnos de deberíamos entrenar este modelo o no.

¿Seguro que hace falta un nuevo clasificador de gatos?

Ya ha muchos modelos entrenados para este fin que podemos usar sin necesidad de entrenar uno nuevo.

También podemos explorar otras técnicas como el transfer learning, que utilizan modelos entrenados para una tarea como punto de partida para nuevos modelos, reduciendo así los tiempos de entrenamiento en gran medida. O bien usar la versión lite de los modelos (muchos la tienen). Aunque no sean tan precisos como las versiones completas, pueden ser lo suficientemente rápidos y eficientes.

En definitiva, se trata de dejar usar los recursos indiscriminadamente, sin pararnos a pensar en su impacto medioambiental y reservarlos para cuando son realmente necesarios, como ocurre en las aplicaciones para diagnóstico de enfermedades, coches autónomos etc.

Inteligencia artificial “Si”, pero siempre “con cabeza”.

Para mantenerte al día con LUCA, visita nuestra página web,  suscríbete a LUCA Data Speaks o síguenos en Twitter, LinkedIn o YouTube.