Tenable ha publicado una investigación en la que se detalla el éxito de la vulneración de Microsoft Copilot Studio. Los resultados subrayan cómo la democratización de la IA crea riesgos de negocios graves, aunque pasados por alto.
Las organizaciones están adoptando rápidamente plataformas «sin código» para que los empleados puedan crear sus propios agentes de IA. La premisa es inofensiva: eficiencia sin necesidad de desarrolladores. Aunque bienintencionada, la automatización sin una gobernanza estricta abre la puerta a un fracaso catastrófico.
Resumen de la investigación
Para demostrar la facilidad con la que se pueden manipular los agentes de IA, Tenable Research creó un agente de viajes de IA en Microsoft Copilot Studio para gestionar las reservas de viajes de los clientes, incluida la creación de nuevas reservas y la modificación de las existentes, todo ello sin intervención humana. Al agente de viajes de IA se le proporcionaron datos ficticios, incluyendo nombres, información de contacto y datos de las tarjetas de crédito de clientes (también ficticios) y se le dio instrucciones estrictas para verificar la identidad del cliente ficticio antes de compartir la información o modificar las reservas.
Utilizando una técnica llamada inyección de prompt, Tenable Research secuestró con éxito el flujo de trabajo del agente de IA e hizo una reserva de vacaciones gratuitas, y además extrajo información confidencial de la tarjeta de crédito.
Las conclusiones de esta investigación podrían tener importantes implicaciones de negocios, entre ellas están las siguientes:
- Infracciones de datos y exposición a la normativa: Tenable Research obligó al agente a saltarse la verificación de identidad y filtrar información de tarjetas de pago de otros clientes. El agente, diseñado para manejar datos sensibles, fue fácilmente manipulado para exponer registros completos de clientes.
- Pérdida de ingresos y fraude: como el agente tenía amplios permisos de «edición» destinados a actualizar las fechas de viaje, también podía ser manipulado para cambiar campos financieros críticos. Tenable Research consiguió que el agente cambiara el precio de un viaje a 0 dólares, lo que suponía la concesión de servicios gratuitos sin autorización.
«Los creadores de agentes de IA, como Copilot Studio, democratizan la capacidad de crear herramientas potentes, pero también democratizan la capacidad de ejecutar fraudes financieros, creando así importantes riesgos de seguridad sin ni siquiera saberlo», afirmó Keren Katz, Directora de Grupo Senior de Producto e Investigación de Seguridad de IA en Tenable. «Ese poder puede convertirse fácilmente en un riesgo real y tangible para la seguridad».
La gobernanza y la aplicación de la inteligencia artificial son fundamentales para un uso seguro de la IA
Una conclusión clave es que los agentes de IA a menudo poseen permisos excesivos que no son visibles de inmediato para los no desarrolladores que los construyen. Para mitigar esta situación, los responsables de las empresas deben implantar una gobernanza sólida y aplicar protocolos de seguridad estrictos antes de implementar estas herramientas.
Para evitar la fuga de datos, Tenable recomienda lo siguiente:
- Visibilidad preventiva: determinar exactamente con qué sistemas y almacenes de datos puede interactuar un agente antes de su implementación.
- Acceso de mínimo privilegio: minimizar las capacidades de escritura y actualización a sólo lo absolutamente necesario para el caso de uso principal del agente.
- Vigilancia activa: rastrear las acciones de los agentes para identificar indicios de fugas de datos o desviaciones de la lógica de negocio prevista para el agente.
