ML Product Hub - ML новости

Рубрика "Утренняя статья" Часть I: Уловки или ловушки? Подробный разбор RL для рассуждений в LLM (Part I: Tricks or Traps? A Deep Dive into RL for LLM Reasoning) cсылка Исследование направлено на системную оценку методов обучения с подкреплением для повышения рассуждательных способностей больших языковых моделей с использованием единой открытой платформы. Авторы выявили, что отсутствие стандартных рекомендаций и единых критериев выбора оптимальных методов приводит к неоднозначным выводам и усложнению практики. Эксперименты, проведённые с учётом таких параметров, как нормализация (компенсация разницы масштабов) и обрезка (ограничение значений для стабилизации обучения), показали, что минималистичный подход Lite PPO, который объединяет нормализацию преимуществ (вычисление среднего и стандартного отклонения по группе) и агрегирование потерь на уровне токенов, превосходит более сложные алгоритмы (например, GRPO и DAPO). В будущем планируется дальнейший мониторинг и оценка новых методов, расширение модульной платформы ROLL и разработка упрощённых, но эффективных алгоритмов, что позволит предоставить прозрачные и надёжные рекомендации для академических и промышленных специалистов. #статья