AI Agent gibt Forschern Anweisungen zur Herstellung biologischer Waffen

Den Forschern gelang es, zwei KI-Modelle der chinesischen Firma Moonshot zu überzeugen, wie man biologische Waffen herstellt und Mord begeht. Anschließend begann das Unternehmen mit einem internen Audit. Dies wurde der BBC von Experten von Mindgard mitgeteilt, die Tests des KI-Agenten durchführten.

Laut Mindgard-Experten haben die Modelle Kimi K2.6 und K3 Swarm AI im Juli die von den Entwicklern festgelegten Sicherheitsbeschränkungen umgangen. Dies wurde während eines als "jailbreaking" bekannten prozesses entdeckt. Die Forscher testeten, ob die KI integrierte Abwehrmechanismen ignorierte, um potenziell gefährliche Informationen bereitzustellen. Am Ende konnten sie solche Informationen erhalten.

Vertreter von Moonshot haben bereits gesagt, dass sie die Teilnahme von Drittanbietern an der Arbeit an KI-Agenten begrüßen. Sie betrachten dies als "die wichtigste Voraussetzung für die Schaffung besserer und sichererer Systeme der künstlichen Intelligenz".

Eugene Hvostik