🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Дэн Луу проверил, помогает ли агенту указание, как тестировать. Задача одна: Zstd на Rust, Codex на Sol medium и xhigh. Промпт без инструкций по тестам сравнили с 25 добавками: TDD, фаззинг, property-based тесты, мутационное тестирование, формальные методы вроде Lean 4 и TLA+, просьба «не делай ошибок», плюс четыре готовых skill'а. По 80 прогонов на каждое условие и уровень, оценка по скрытым тестам, на картинке цена против доли безошибочных прогонов.
Ничего не выигрывает заметно, а промпт без инструкций выше среднего. TDD хуже среднего. Skill Hegel поднял стоимость на 26–41% без прироста качества. Skill из сборника ECC с 250 тысячами звёзд выглядел прилично за счёт прогонов, где агент его не открывал или открывал поздно. Лучший результат дал skill автора из пяти пунктов, и тот выполнялся не полностью.
Агенты умеют находить рискованные места в коде, но тестируют их плохо, название техники этого не меняет. По опыту автора работает другое: самому задать структуру тестов и возвращаться к агенту с правками.
@neuro_channel