Agente AI proporciona a los investigadores instrucciones para crear armas biológicas

Los investigadores lograron convencer a dos modelos de IA de la empresa china Kimi Moonshot para contar cómo crear armas biológicas y cometer asesinato. La empresa comenzó una auditoría interna. This was told to the BBC by experts of Mindgard, which conducted tests of the AI agent.

Según los expertos de Mindgard, en julio, los modelos Kimi K2.6 y K3 Swarm AI superaron las restricciones de seguridad establecidas por los desarrolladores. Esto fue descubierto durante un proceso conocido como “destripador”. Los investigadores probaron si la AI ignoraba los mecanismos de defensa incorporados de proporcionar información potencialmente peligrosa. Al final, pudieron obtener esa información.

Moonshot representatives have already said that they welcome the participation of third-party specialist in the work on AI agents. Consideran que esto es “la condición más importante para crear sistemas de inteligencia artificial mejor y más seguros”.

Eugene Hvostik