Defendiendo Aplicaciones de GenAI Contra Inyecciones de Prompts

0
13
defending genAI apps against prompt injection

El 24 de abril de 2025, a las 12 p.m. EST, se llevará a cabo un evento online que abordará un tema de creciente relevancia en el mundo empresarial: la seguridad de las aplicaciones de inteligencia artificial generativa frente a ataques de inyección de comandos. A medida que las empresas aceleran la integración de la inteligencia artificial generativa en sus aplicaciones y flujos de trabajo, los adversarios están encontrando nuevas formas de explotar los modelos de lenguaje mediante ataques que buscan filtrar datos sensibles y eludir controles de seguridad.

Durante esta sesión, que contará con la participación de Rob Truesdell, Chief Product Officer de Pangea, se explorará el panorama en evolución de las amenazas relacionadas con la inyección de comandos, así como las estrategias más recientes para proteger las aplicaciones de IA generativa. Los asistentes aprenderán sobre el funcionamiento de estos ataques, incluidos ejemplos reales que ilustran tanto las técnicas directas como las indirectas utilizadas por los atacantes.

Además, se analizará qué están haciendo los proveedores de modelos de lenguaje para implementar defensas nativas que contrarrestan los riesgos asociados a la inyección de comandos. También se discutirá la diferencia entre las amenazas internas y externas, y cómo los adversarios pueden manipular modelos de IA generativa desde dentro y fuera de una organización.

El evento se centrará en estrategias de mitigación de riesgos, presentando las mejores prácticas de ingeniería y seguridad para prevenir, detectar y responder a intentos de inyección de comandos. Asimismo, se ofrecerán pautas sobre cómo evaluar la efectividad de los mecanismos de detección de inyección de comandos.

Esta sesión está diseñada para ser esencial para líderes de seguridad, ingenieros de inteligencia artificial y equipos de producto que buscan comprender y mitigar los riesgos asociados a las aplicaciones impulsadas por IA en un entorno cada vez más adversarial. Aquellos que no puedan asistir en la fecha podrán registrarse para recibir una versión grabada de la sesión directamente en su correo electrónico.
vía: AI Accelerator Institute