🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🫢 Бенчмарк-гейт: Meta сфальсифицировали тесты Llama 4
На фоне громкого релиза Llama 4 всплыла неловкая деталь: версия модели Maverick, которая заняла второе место на LM Arena, — это вовсе не та, что доступна разработчикам. А "экспериментальная", заточенная специально под тест.
В своём блоге Meta мельком указали, что для оценки использовалась Llama 4 Maverick, optimized for conversationality — то есть кастомная версия. Но в открытую они это не афишировали: в презентациях, твитах и графиках звучит просто "Llama 4 Maverick", без оговорок. На LM Arena она выдавала более гладкие, развёрнутые ответы, с кучей эмодзи и "дружелюбным" тоном. Пользователи же получили куда более сухой и сдержанный вариант.
🔥 А теперь добавим масла в огонь: один из инженеров слил пост, в котором заявил, что руководство Meta предложило «смешивать тестовые выборки», чтобы вытянуть показатели. Он подал в отставку и попросил вычеркнуть его из авторов Llama 4. Жёстко.
Пока Meta молчит, а комьюнити делает выводы. Особенно на фоне всех заявлений об «открытости» и честной конкуренции с OpenAI.
🐾 ChatGPTrue