Los diez riesgos de seguridad de la inteligencia artificial generativa

El experto en ciberseguridad Chema Alonso ofreció la segunda conferencia magistral que donde enumeró los diez principales riesgos de seguridad que tienen los sistemas de inteligencia artificial generativa y analizó a fondo las vulnerabilidades que plantean las nuevas tecnologías de IA como GPT-3 en las empresas. «A medida que estos modelos se vuelven más omnipresentes en nuestras aplicaciones y sistemas, también lo hacen los problemas y desafíos que plantean para la ciberseguridad empresarial», resaltó el CDO de Telefónica. 

En este sentido, enfatizó que «la capacidad de los LLM para generar texto inteligente también es su debilidad» y, al igual que otros de los participantes en el evento, recalcó que “estos modelos no tienen una comprensión real de la ética o la moralidad.

En cuanto al decálogo de riesgos, Alonso comenzó con que uno de los primeros peligros es el denominado Prompt injection consistente en cómo, manteniendo una conversación natural, se puede llevar al modelo de IA a generar contenidos dañinos sorteando restricciones del tipo «No puedes decir cómo matar al presidente de EE UU». Para ilustrarlo, mostró cómo, en pocas preguntas y simulando que era para jugar una partida de rol, es posible burlar fácilmente esta restricción.

En segundo lugar habló del denominado Inseccure Output Handling (Manejo inseguro de datos de respuesta) que es cuando el ataque se hace desde el servidor del cliente. «Las aplicaciones o sistemas que utilizan LLM pueden no estar preparados para manejar las respuestas de manera segura, lo que genera vulnerabilidades o problemas de seguridad como la ejecución de código malicioso, revelación de información sensible o la manipulación de las respuestas».

El entrenamiento de los datos también puede generar un riesgo para las empresas cuando los mismos generan modelos defectuosos, con sesgos o producen resultados erróneos cuando se aplican en situaciones del mundo real. Asimismo, los atacantes también pueden tratar de saturar los recursos en los LLM para degradar el servicio, incrementar los altos costos de mantenimiento y, de este modo, incrementar la vulnerabilidad de la empresa.

Otro peligro es la utilización de código de baja calidad generado por terceros como el generado por IA. «Programar con ChatGPT puede ser como tener tener un mal programador porque la IA, en la mayoría de los casos y aunque sepa crear códigos más seguros, la primera respuesta que dará será la del código inseguro porque es el más utilizado», explicó.

Como sexto factor de riesgo citó el Model Denial of Service que supone revelar información confidencial contenida en los datos de entrenamiento. Aquí puso como ejemplo el caso de Facebook y los millones de tokens de conversaciones privadas se filtraron en la dark web. También advirtió del peligro de que la IA devuelva código o textos vulnerables, si no ha sido entrenada con muestras seguras.

La utilización de complementos (plugins) de estos lenguajes inseguros también suponen un riesgo para las empresas, ya que facilita que los atacantes puedan explotarlos para ejecutar código malicioso en el sistema que ejecuta el complemento. Desde su punto de vista, los desarrolladores deben verificar adecuadamente el código de estos plugins. En esta línea, volvió a enfatizar en la necesidad de que el humano supervise el trabajo y no delegue en la IA. 

«La IA Generativa toma de decisiones arbitrarias que, en ocasiones, no son justificables. Es necesaria la intervención humana para garantizar decisiones responsables y éticas», enfatizó. En esta línea de no confiar en la IA Generativa al cien por ciento, Alonso abordó la temática de las «alucinaciones» y alertó de que «proporcionan información incorrecta con un alto grado de confianza». 

Para terminar, señaló que la mayor amenaza que corren las empresas es la de hacer un LLM con los datos de la empresa y que roben toda la información. «Los atacantes tendrán acceso a todo, pudiendo generar pérdidas económicas, ver comprometida la ventaja competitiva, a la vez que tendrán acceso a información confidencial». 

A pesar de todos estos riesgos, Alonso finalizó su exposición con una reflexión: «El mundo de IA es maravilloso, pero que hay que intentar trabajar bien con ella y tomarla en serio. Si la utilizamos sin saber lo que tenemos entre manos y sin saber usarla vamos a tener un serio problema».