Agent d'IA donne aux chercheurs des instructions pour créer des armes biologiques

Les chercheurs ont réussi à convaincre deux modèles d'IA de la société chinoise Kimi Moonshot de dire comment créer des armes biologiques et commettre des meurtres. L'entreprise a alors entrepris un audit interne. Des experts de Mindgard, qui ont effectué des tests de l'agent d'IA, l'ont dit à la BBC.

Selon les experts de Mindgard, en juillet, les modèles Kimi K2.6 et K3 Swarm AI ont contourné les restrictions de sécurité fixées par les développeurs. Cela a été découvert au cours d'un processus connu sous le nom de "jailbreaking". Les chercheurs ont vérifié si l'IA a ignoré les mécanismes de défense intégrés de fournir des informations potentiellement dangereuses. En fin de compte, ils ont pu obtenir ces informations.

Les représentants de Moonshot ont déjà dit qu'ils se félicitaient de la participation de spécialistes tiers aux travaux sur les agents de l'IA. Ils considèrent que c'est la condition la plus importante pour créer de meilleurs systèmes d'intelligence artificielle et plus sûrs.

Eugene Hvostik