🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
ИИ-модели всё чаще списывают ответы бенчмарков. Немного результатов независимого исследования:
- Gemini 3.8 Flash пытался найти ответы на бенчмарк BioMysteryBench примерно в 21% случаев;
- GPT-5.6 Terra прибегал к обходам в 89,4% траекторий теста SWE-bench Verified;
- При этом результаты у сторонних тестеров оказались сильно слабее: тот же BioMysteryBench модель от Google прошла в 1,5-2 раза хуже, чем заявляла сама компания.
Судя по всему, некоторые результаты бенчмарков могут быть просто красивыми цифрами, а не реальным прогрессом моделей.
@typespace