Cuando una organización incorpora Inteligencia Artificial (IA) en las tareas diarias puede beneficiarse de mejoras en productividad, ahorro de costes o eficiencia operativa. Pero también asume ciertos riesgos. En concreto, los problemas que más preocupan a las compañías tienen que ver fundamentalmente con la ciberseguridad, el uso indebido de los datos y la ética.
La tercera edición del informe «Estado de la IA en la empresa», que Deloitte publicó en julio, revela que el 56% de las compañías en todo el mundo ha ralentizado su adopción de la IA debido a los retos asociados a la gobernanza, la confianza y los sesgos no intencionados de los algoritmos. «El sesgo es un tema de extrema actualidad», explica Macarena Estévez, socia de Analytics & Cognitive de la consultora. Y lo que generan estos sesgos es, a grandes rasgos, «falta de equidad en las decisiones, perpetuación de la exclusión de determinados colectivos o aumento de las posibles discriminaciones históricas», completa Juan Pedro Gravel, socio de Estrategia Tecnológica y Arquitectura de Deloitte.
Esto tiene que ver con el hecho de que Amazon tuviera que despedir por sexista a la herramienta basada en Inteligencia Artificial que se encargaba de seleccionar personal. Sucedió en 2018, tras reconocer que su intento de agilizar el proceso de reclutamiento online descartaba por defecto aquellos currículums que contenían la palabra mujer. Otro ejemplo conocido de discriminación, en este caso racial, es el de Compas, un software que se utiliza en varios estados de Estados Unidos como asesor de los jueces en sus sentencias. En 2016, la organización periodística ProPública denunció que se equivocaba el doble de veces con acusados afroamericanos al asignar probabilidades de reincidir en delitos violentos.
El género también fue el talón de Aquiles de la Apple Card de Goldman Sachs. «Discriminaba sistemáticamente a las mujeres, a las que concedía líneas de crédito menores que a los hombres o las rechazaba directamente», describe Gemma Galdón, fundadora y CEO de Eticas Research & Consulting. Como doctora en políticas de seguridad y tecnología, conoce bien el impacto de una mala decisión de la IA en el entorno corporativo. «Como vemos en el ejemplo de Apple, el riesgo, más allá del reputacional por aparecer en todo el mundo relacionados con la discriminación a la mujer, llegaba a lo más profundo del negocio al perder potenciales clientes», indica Galdón, acarreando un coste económico «incalculable».
Y no solo la marca y la cuenta de resultados pueden verse dañados; las repercusiones pueden ser también de tipo legal. En España y Europa ya existe legislación que exige la auditoría algorítmica. Como consecuencia, «empezamos a ver las primeras sentencias condenatorias por el uso de algoritmos que no respetan principios básicos y derechos fundamentales», incluso aunque la compañía lo ignore o no los haya diseñado.
El «toque» humano
Pero, ¿cómo puede un algoritmo, es decir, un conjunto de instrucciones pensado para ejecutar una tarea o resolver un problema, generar estos conflictos? Principalmente porque «la tecnología, en general, es un ecosistema donde diseñan y desarrollan hombres blancos de mediana edad, con un perfil socioeconómico similar», afirma Galdón. Y lo que salga de ahí «es susceptible de verse afectado por sesgos que estos perfiles no identificarán», define.
A este contexto hay que sumarle el proceso de entrenamiento del algoritmo, que dependerá del volumen y calidad de los datos seleccionados y variables que se recojan, o de cómo se incorpore la decisión en entornos humanos.
Para atajar esta situación, Eticas Research se encarga de auditar la Inteligencia Artificial de la empresa. Al igual que se haría a la caza de fallos contables, se comparan los datos que entran en el sistema con los resultados obtenidos. Para buscar sesgos, se revisa tanto el diseño del algoritmo como el contexto y se evalúa si la elección de fuentes de datos es la idónea, los posibles impactos y discriminaciones para grupos poblacionales específicos, y por qué toma las decisiones que toma (lo que se denomina explicabilidad). Por último, se examina la integración operativa del algoritmo y cómo influye la interacción humana.
«La auditoría implica un proceso de trabajo conjunto con el cliente para abordar y mitigar esos sesgos, así como la definición de una metodología para que el algoritmo no reaprenda a discriminar de forma no ética», comenta Galdón. Por entre 20.000 y 60.000 euros, las empresas obtienen además un informe final con conclusiones, recomendaciones y posibles ejes de actuación.
Bajo la lupa de Eticas Research han pasado Indra, Telefónica, el Banco Interamericano de Desarrollo, la Asociación Española de Protección de Datos, el Ministerio de Desarrollo Social y Familia de Chile o el Ayuntamiento de Barcelona, así como varias universidades en Europa y América. Y hace unas semanas recibían buenas noticias de la Comisión Europea: les ha otorgado tres proyectos para los próximos tres años, lo que constata el interés por la transparencia en el uso de las nuevas tecnologías. Identificar y mitigar sesgos supone, por una parte cumplir la ley y por otra, proteger al usuario.
