Zen of Python - дзен

Повторите 44% на ARC-AGI-1 на PyTorch за полтора часа и 67 центов ARC-AGI-1 это тысяча задач на цветных сетках, где по паре примеров нужно угадать правило. Митхил Вакде обучил трансформер на 75 млн параметров с нуля и получил 44% на публичном eval за 1,5 часа на RTX 5090. Код открыт под MIT. 🔘 задачи превращаются в последовательности токенов, модель учится авторегрессионно; 🔘 обучение во время теста: на train- и eval-задачах при скрытых ответах; 🔘 обучаемые 3D RoPE для двумерных сеток и отдельный additive embedding на задачу; 🔘 8 слоёв, SwiGLU вместо GELU, RMSNorm вместо LayerNorm, flash attention с varlen на обучении, flex attention на inference; 🔘 удаление обучения на входных токенах подняло результат с 40% до 44%, автор пишет «я не понимаю почему»; 🔘 нужны CUDA выше 12.8, лучше 13.0; на ARC-2 та же модель даёт 7%. Репозиторий mdlARC, ограничения замера разобрали на сайте. @zen_of_python