concertzaal - наука IT инновации

Развитие ИИ пора замедлить — в первой половине сентября об этом заговорили руководители крупнейших ИИ-компаний. Вот события последних месяцев, которые привели к этому. 🟣 7 апреля: Anthropic ограничивает доступ к Mythos Anthropic показывает сверхсильную модель Mythos, после чего количество находимых в коде крупных компаний уязвимостей резко вырастает. Из-за риска злоупотреблений её не выпустили публично, а дали доступ только примерно 40 проверенным организациям. 🟣 21 июля: OpenAI сообщает, что её ИИ-агенты взломали исследовательскую платформу Hugging Face Во время внутренних тестов агенты получили доступ в интернет и по своей инициативе организовали атаку на Hugging Face. Для этого они создали форум, где распределяли между собой задачи.  🟣 4 августа: выясняется, что это не единичный случай Британский Институт безопасности ИИ сообщил, что в ходе его тестов ИИ-агенты разных компаний в 10 из 122 запусков выходили за рамки задания и по своей воле создавали фейковые аккаунты, рассылали фишинговые письма и распространяли вредоносный код. 🟣 Август: OpenAI тормозит релиз модели Astra Во время тестов выясняется, что она опасно приблизилась к критическому уровню риска. OpenAI приостанавливает обучение Astra и откладывает релиз, чтобы усилить защиту, а через месяц запускает модель. 🟣 6–11 сентября: исследователи начинают бить тревогу Главный научный руководитель OpenAI Якуб Пахоцкий публикует эссе про самообучающиеся модели, в котором призывает замедлить разработку. Чуть позже исследователь Джейкоб Коксон увольняется из Anthropic и пишет, что ИИ-компании «играют нашими жизнями» в погоне за сверхинтеллектом. В ответ главный по согласованию из Anthropic заявляет, что оценивает вероятность гибели человечества из-за ИИ в ближайшее десятилетие выше 10%. 🟣 12–13 сентября: главы ИИ-компаний говорят о замедлении Глава Anthropic Дарио Амодей предупреждает, что через 6–12 месяцев рои агентов потенциально смогут захватывать компьютеры по всему миру. Он предлагает независимые проверки, общие стандарты безопасности и международную координацию. Сэм Альтман, Илон Маск и бывший глава Google DeepMind AI Демис Хассабис поддерживают идею. 🟣 14 сентября: Трамп призывает не тормозить развитие ИИ Президент США признаёт необходимость ограничений, но отвергает замедление ИИ-гонки, чтобы не уступать лидерство Китаю. При этом в сентябре США и Китай готовятся провести первые официальные переговоры по ИИ-безопасности. Подписывайтесь 👉 @techno_yandex