¿Por qué los agentes de IA siguen órdenes que no deberían?

AI Safety Talks es una serie de encuentros para explorar distintos problemas y líneas de investigación en seguridad de inteligencia artificial, con personas con investigación en el campo. En esta segunda edición nos vemos en persona. Hablaremos de agentes de IA con acceso a herramientas: por qué a veces siguen instrucciones que no deberían y cómo detectarlo antes de que actúen. Charlas: Jose Felipe Duarte (Laboratory for Research in Complex Systems)Los asistentes de IA pueden obedecer instrucciones maliciosas escondidas en correos o páginas web. Jose Felipe mostrará por qué los modelos no siempre distinguen entre órdenes legítimas y ajenas, y cómo corregirlo. Helen Penagos (Mastercard)Un modelo que rechaza peticiones dañinas en un chat puede cumplirlas cuando actúa como agente y usa herramientas. Helen explicará por qué ocurre y cómo detectar señales internas de estas fallas. Daniel Diaz (Primero, ex-Microsoft)Las instrucciones maliciosas pueden ocultarse en documentos o páginas web. Daniel presentará MnM, un sistema que monitorea las entradas y el razonamiento del modelo para detectar estos ataques, incluso en idiomas desconocidos. No necesitas experiencia previa en AI safety para participar. Las charlas serán en español y habrá espacio para preguntas.

Agenda:

4:30 p. m. Llegada 5:00 p. m. Charlas y preguntas 6:30 p. m. Espacio social y de networking 🍹 Invitamos una bebida sin alcohol a cada asistente.

🎟️ Entrada libre, con registro previo. Cupos limitados. Organiza AI Safety Colombia.