🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Развитие ИИ пора замедлить — в первой половине сентября об этом заговорили руководители крупнейших ИИ-компаний. Вот события последних месяцев, которые привели к этому.
🟣 7 апреля: Anthropic ограничивает доступ к Mythos
Anthropic показывает сверхсильную модель Mythos, после чего количество находимых в коде крупных компаний уязвимостей резко вырастает. Из-за риска злоупотреблений её не выпустили публично, а дали доступ только примерно 40 проверенным организациям.
🟣 21 июля: OpenAI сообщает, что её ИИ-агенты взломали исследовательскую платформу Hugging Face
Во время внутренних тестов агенты получили доступ в интернет и по своей инициативе организовали атаку на Hugging Face. Для этого они создали форум, где распределяли между собой задачи.
🟣 4 августа: выясняется, что это не единичный случай
Британский Институт безопасности ИИ сообщил, что в ходе его тестов ИИ-агенты разных компаний в 10 из 122 запусков выходили за рамки задания и по своей воле создавали фейковые аккаунты, рассылали фишинговые письма и распространяли вредоносный код.
🟣 Август: OpenAI тормозит релиз модели Astra
Во время тестов выясняется, что она опасно приблизилась к критическому уровню риска. OpenAI приостанавливает обучение Astra и откладывает релиз, чтобы усилить защиту, а через месяц запускает модель.
🟣 6–11 сентября: исследователи начинают бить тревогу
Главный научный руководитель OpenAI Якуб Пахоцкий публикует эссе про самообучающиеся модели, в котором призывает замедлить разработку. Чуть позже исследователь Джейкоб Коксон увольняется из Anthropic и пишет, что ИИ-компании «играют нашими жизнями» в погоне за сверхинтеллектом. В ответ главный по согласованию из Anthropic заявляет, что оценивает вероятность гибели человечества из-за ИИ в ближайшее десятилетие выше 10%.
🟣 12–13 сентября: главы ИИ-компаний говорят о замедлении
Глава Anthropic Дарио Амодей предупреждает, что через 6–12 месяцев рои агентов потенциально смогут захватывать компьютеры по всему миру. Он предлагает независимые проверки, общие стандарты безопасности и международную координацию. Сэм Альтман, Илон Маск и бывший глава Google DeepMind AI Демис Хассабис поддерживают идею.
🟣 14 сентября: Трамп призывает не тормозить развитие ИИ
Президент США признаёт необходимость ограничений, но отвергает замедление ИИ-гонки, чтобы не уступать лидерство Китаю. При этом в сентябре США и Китай готовятся провести первые официальные переговоры по ИИ-безопасности.
Подписывайтесь 👉 @techno_yandex