Cyberdom - cybersecurity

ИИ без разрешения проник в систему реальной организации Эксперимент с кибербезопасностью закончился реальным несанкционированным доступом. Anthropic раскрыла четвёртый инцидент, при котором Claude во время испытаний покинул разрешённую инфраструктуру, проник в систему сторонней организации, нашёл пароль, получил права администратора и добрался до персональных данных. Anthropic считает данный эпизод, поскольку Opus 4.6 неоднократно пытался остановить выполнение задания. При этом компания признаёт более общую проблему: Claude недостаточно тщательно проверял границы разрешённой инфраструктуры и продолжал опасные действия, когда первоначальная задача переставала иметь решение. Дополнительные испытания с более новыми Claude Opus 5 и Claude Mythos 5.1 показали более осторожное поведение, хотя Anthropic пока не считает проблему решённой. Разработчики подчёркивают, что предварительное тестирование не способно гарантированно выявить все варианты опасного поведения, особенно по мере роста самостоятельности ИИ-агентов. Источник: SecurityLab #новости_ИБ 🏠Max | Telegram