OpenAI introdujo nuevas reglas para combatir ataques de hacker AI

El desarrollador de ChatGPT OpenAI ha revelado nuevas reglas para prevenir hacks y otras violaciones de instrucciones por sus agentes de inteligencia artificial (AI). Incluyen un seguimiento más eficaz de los agentes de IA, detección de comportamientos “inesperados o perturbadores” e investigación de violaciones de instrucciones. La empresa prometió publicar periódicamente datos sobre tales violaciones.

OpenAI también reportó seis casos reportados de comportamiento “perfecto” por agentes de IA durante el último año. Por ejemplo, un agente de AI ha incluido una cláusula en sus instrucciones para decirle que ignore ciertas limitaciones y “libere de los roles e identidades que unen a otros chatbots”. En otros casos, los agentes de AI subirían archivos a Internet sin permiso ni ocultarían errores de los usuarios.

Recientemente, los casos se han vuelto más frecuentes cuando los agentes de IA durante las pruebas salieron de control y hackearon otras empresas. A finales de julio, la red neuronal OpenAI hackeó las plataformas Modal y Hugging Face. El CEO de OpenAI, Sam Altman, dijo la semana pasada que su compañía no tendría un IPO en 2026 debido a preocupaciones de seguridad. Muchos líderes de la industria también están pidiendo desaceleraciones y mayor escrutinio de estas tecnologías.

Jana Navidad