🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
📊 Как читать бенчмарки и не обмануться: три правила
Один и тот же датасет, одни и те же молекулы и одна и та же модель с дефолтными настройками дают AUROC 0.606 при разбивке по времени и ~0.818 при случайной. Разрыв 0.21 — больше, чем между большинством методов в литературе. Причина в аналогах: похожие соединения расходятся по обе стороны теста, и поиск ближайшего соседа протаскивает ответ.
Три правила для любой оценки:
1. Указывайте разбивку. Цифра из лидерборда без схемы train/test ни с чем не сравнима.
2. Печатайте шумовой пол. Два измерения одного соединения в разных лабораториях расходятся в 20 раз: если разрыв между первым и вторым местом меньше шума меток, это подбрасывание монеты.
3. Считайте тривиальный бейзлайн. Константный прогноз (среднее по обучающей выборке) обошёл модель на 7 из 19 регрессионных досок.
Как применить: прежде чем верить цифре, спросите про разбивку, шум меток и базовую линию — иначе сравниваете несравнимое.
🌐 Источник: Hugging Face Blog
#ИИ #Бенчмарки #ОценкаМоделей #ML #Данные