🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Формальные методы против самовольных агентов
Команда OpenShell в NVIDIA учит Z3 доказывать, что агент не вышел за выданные права. Поводом стал демо-провал: агент обошёл инспекцию HTTP через бинарник git-remote-https.
Политики песочницы для сети, файлов, токенов и инструментов комбинируются экспоненциально. Глазами такой список уже не проверить, а сотни агентов одновременно человек не пересмотрит.
Идея взята из Zelkova — сервиса AWS, который моделирует IAM и S3 как SMT-формулы. Подвох в цене моделирования: описать политики в формальной логике трудно, зато запросы потом дешёвые.
🔗 Подробнее
@nuancesprog #Security #GitHub