¿Qué riesgos tienen los agentes de IA?

Un jailbreak es una forma, muchas veces un simple prompt, de esquivar las trabas y limitaciones que pone el creador de un modelo de lenguaje. Juan Pe cita DAN, uno de los primeros con ChatGPT, y explica que afecta a todos los modelos: los de OpenAI, Claude, Gemini o Perplexity. De vez en cuando se publican estudios con jailbreaks nuevos. En sí no es ni bueno ni malo, pero hay que tenerlo en cuenta al automatizar un negocio.

Ver la respuesta en el vídeo · 01:21:30

Cuando creas un agente con una función muy concreta, por ejemplo gestionar pedidos por WhatsApp, es fácil pensar que no puede hacer otra cosa. Pero su modelo de lenguaje es un punto de fuga: si alguien lo engaña, puede usar lo que el agente tiene a su alcance. Si ves que un agente hace cosas raras, como mover dinero o sacar datos personales, Juan Pe aconseja investigar primero el modelo, que es por donde casi siempre entran.

Ver la respuesta en el vídeo · 01:24:33

La recomendación del curso es encapsular los sistemas, un principio básico de ciberseguridad:

• Que cada agente haga solo tareas concretas.
• Que cada agente tenga acceso solo a la información que necesita, nunca a todo.
• Que haya varias barreras: si un agente falla, el resto del negocio sigue protegido.

Ver la respuesta en el vídeo · 01:26:50