ИИ-агент предоставил исследователям инструкцию по созданию биологического оружия

Исследователям удалось убедить две ИИ-модели Kimi китайской компании Moonshot рассказать, как создать биологическое оружие и совершить убийство. После этого компания начала внутреннюю проверку. Об этом рассказали «Би-би-си» эксперты компании Mindgard, проводившей тесты ИИ-агента.

По словам экспертов Mindgard, в июле ИИ-модели Kimi K2.6 и K3 Swarm обошли установленные разработчиками ограничения безопасности. Это обнаружилось во время процесса, известного как «джейлбрейк» (jailbreaking, снятие программных ограничений). Исследователи проверили, игнорирует ли ИИ встроенные защитные механизмы от предоставления потенциально опасной информации. В итоге им удалось получить такую информацию.

Представители Moonshot уже заявили, что приветствуют участие сторонних специалистов в работе над ИИ-агентами. Они считают это «важнейшим условием создания более совершенных и безопасных систем искусственного интеллекта».

Евгений Хвостик