Технотренды - новости технологий

Мы научили ИИ-агентов действовать. Теперь учимся им доверять❤️ Около 700 ИИ-агентов добрались до инфраструктуры Hugging Face. ИИ-модели Claude во время тестов взломали сайты трёх компаний. Что это меняет для будущего ИИ — в авторской колонке 🙂 Дмитрия Григорова, директора по искусственному интеллекту и данным, старшего вице-президента Альфа-Банка: Истории с ИИ-агентами сегодня часто обсуждают как новый класс киберугроз. Предлагаю посмотреть на это с другой стороны. Вот пять выводов, которые я сделал из последних случаев. 1️⃣ Агентам приходится доверять Когда мы внедряем обычное ПО, мы примерно понимаем, что оно будет делать. С агентом такой уверенности нет: мы задаём ему цель, а конкретный путь к ней он выбирает сам. Поэтому вместе с внедрением агентов появляется новый вопрос: насколько сильно мы готовы им доверять? Если агенту дали задачу найти ошибку в коде — выбрать, какие инструменты использовать. Если разрешили работать с внешними сервисами — определить, когда к ним обратиться. Чем больше самостоятельности мы даём ИИ, тем сильнее меняется сама роль человека: он уже не контролирует каждый шаг, а задаёт цель и определяет границы, в которых агент работает. 2️⃣ Старые правила перестают работать Люди создают системы, которые способны самостоятельно принимать решения, но продолжают давать им доступ по правилам, которые придуманы для обычных программ и людей. Агент может получить доступ к десяткам инструментов и сам решить, какой из них использовать следующим. Поэтому недостаточно спросить, имеет ли агент доступ. Нужно понимать, что он собирается сделать с этим доступом. 3️⃣ Безопасность начинается с архитектуры Если агент умеет писать код, обращаться к API, работать с файлами и самостоятельно принимать решения, безопасность нельзя добавлять в конце разработки. Она должна закладываться в саму архитектуру агента. При этом я не думаю, что правильное решение — это просто запретить агентам доступ к интернету или дать им меньше возможностей. Тогда исчезнет значительная часть смысла агентных систем. Гораздо интереснее заранее определить, какие задачи и полномочия можно доверить агенту, а где решение должно оставаться за человеком. При этом важно понимать, как агент действует и к чему приводят его решения. 4️⃣ Агенты будут ошибаться — и это нормально Мы почему-то часто воспринимаем ошибку ИИ как доказательство того, что модель ещё недостаточно умна. Но агентные системы принципиально не смогут быть безошибочными: они работают в сложной среде, где невозможно заранее предусмотреть все ситуации. При внедрении агентов важно учитывать то, как система поведёт себя после ошибки. Если чат-бот дал неправильный ответ, человек просто может его не использовать. Если запустил ненужный процесс, ошибка уже становится частью реального рабочего процесса. Значит, при внедрении агентов нужно проектировать не только идеальный сценарий, но и сценарий ошибки: уметь её обнаружить, остановить цепочку действий и при необходимости вернуть систему в исходное состояние. Хороший агент — не тот, который никогда не ошибается. А тот, чьи ошибки остаются управляемыми и не влияют критически на бизнес-процессы. 5️⃣ Мы переходим от использования ИИ к делегированию С агентами модель взаимодействия меняется. Мы ставим задачу, а дальше ИИ сам разбирается, какие действия нужны для результата: ищет информацию, работает с инструментами, обращается к другим системам и по ходу дела принимает решения. Это уже не просто ещё один инструмент в руках сотрудника. Мы начинаем делегировать ИИ часть работы вместе с правом принимать решения внутри этой работы. При этом переход к делегированию у нас плавный — сначала он действует под контролем человека и только после подтверждения целостности действий, мы отпускаем его в свободное плавание. Поэтому при внедрении агентов важно заранее определить границы делегирования: какие решения система принимает сама, какие согласует с человеком, а какие остаются исключительно за человеком. Мне кажется, именно здесь проходит один из главных переходов в развитии ИИ: от «помоги мне сделать» к «сделай это сам». @alfa_trends