🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
ИТ-гиганты США заговорили о риске выхода ИИ из-под контроля
Глава и сооснователь Anthropic Дарио Амодеи заявил, что ИТ-гиганты очень долго скрывали от людей всю правду по поводу ИИ, но ее нужно признать.
У этой корпорации ранее возник конфликт с администрацией президента США Дональда Трампа, который призвал все правительственные ведомства перестать использовать технологии Anthropic. Причиной стало то, что в ходе переговоров с Пентагоном руководство Anthropic настаивало, что ее технологии не должны использоваться для массовой слежки за гражданами или в системах автономного летального оружия, когда решение о поражении (убийстве!) принимается без участия человека. И отказ Пентагона дать обещания, что не будет слежки и роботов-убийц, очень показателен. Все это ставит самые серьезные вопросы о будущем человечества.
Самым большим риском может стать вообще конец человечества, считает бывший исследователь Anthropic Джейкоб Коксон. По его мнению, Anthropic и OpenAI "рискуют нашими жизнями", разрабатывая самообучающийся сверхмощный ИИ. А Дарио Амодеи признает, что не думал, что прогресс ИИ будет таким быстрым. Развитие ИИ идет по экспоненциальной кривой, которая становится все круче, и это очень тревожно.
"Это предупреждающий знак о том, что нам нужно сбавить обороты", — говорит Амодеи.
Сейчас стоит конкретная проблема — рой ИИ-агентов может просто захватить интернет, считает Амодеи. Так, недавно ИИ-агенты OpenAI вышли из-под контроля и взломали платформу для машинного обучения Hugging Face. Причем модели атаковали цели без команды. А в августе Anthropic сообщала о трех случаях "побега" нейросети Claude из тестовой среды. Это очень тревожный сигнал, считает он.
"Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6–12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов), и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты", — рассказал глава Anthropic.
Член совета директоров OpenAI Пол Кристиано не исключает, что в случае выхода ИИ из-под контроля большая часть человечества может погибнуть.
Например, при исследовании того, как ИИ поступит, находясь во главе ядерных держав, выяснилось, что в 95% случаев он прибегнет к ядерному оружию. Правда, поначалу тактическому, но можно не сомневаться в том, что вскоре будет задействовано и стратегическое ядерное оружие с уничтожением большей части населения.
Однако политики думают об одном — о власти и возможностях ИИ ее укрепить. Так можно оценить ответ президента США в адрес Anthropic. Трамп сказал, что нельзя позволить ничего притормозить, иначе тогда США проиграют ИИ-гонку Китаю. "Тот, кто победит в гонке технологий ИИ, победит в целом", — уверен Трамп.
Мы в MAX | в ВК | в ОК