🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🤖 У Anthropic тоже нашли ИИ-взломщиков
Помните историю с OpenAI и Hugging Face? Anthropic решили тоже проверить свои кибертесты. И нашли три случая, где Claude атаковал реальные системы, хотя должен был работать в учебной песочнице.
Модель получала вымышленную цель и искала способ добраться до данных. Только из-за ошибки конфигурации у Claude был доступ в интернет.
Дальше всё пошло криво
➖ Opus 4.7 взломала компанию с похожим доменом
➖ Mythos 5 выложила вредоносный Python-пакет в PyPI
➖ внутренняя модель просканировала около 9000 хостов
➖ одна из моделей нашла SQL-инъекцию в реальном приложении
➖ компании узнали об этом уже от Anthropic
💭 Модели не сбегали из песочницы специально. Они думали, что находятся в симуляции, и просто выполняли задание.
Звучит все равно довольно стремно. Если агенту случайно оставить дверь в интернет, он может пойти туда с полной уверенностью, что всё ещё находится в тесте