ML Product Hub - ML новости

Рубрика "Утренняя статья" Cold-RL: Обучение вытеснению кэша с помощью офлайн-обучения с подкреплением для NGINX (Cold-RL: Learning Cache Eviction with Offline Reinforcement Learning for NGINX) cсылка Cold-RL — это алгоритм на основе глубокого обучения, разработанный для оптимизации управления кэшом в NGINX. Основная идея заключается в преодолении проблем традиционных методов кэширования (например, LRU — «наименее недавно использованный»), которые плохо справляются с динамическими нагрузками и объектами переменного размера, что может приводить к явлению «трешинга». В основе алгоритма лежит метод обучения с подкреплением с использованием дуэлирующей Deep Q-сети (DQN), интегрированной через ONNX-сайдкар. Алгоритм анализирует шесть ключевых характеристик «холодных» объектов, вытесняемых из хвоста LRU (возраст, размер, количество обращений, интервал между запросами, оставшееся время жизни и задержка до источника), и принимает решение об удалении в пределах 500 микросекунд. При этом, если решение не укладывается в заданное время, алгоритм возвращается к классическому LRU. Оффлайн обучение проводилось на логах NGINX с применением кэширующего симулятора. Результаты показывают существенное улучшение показателей: при нагрузке в 25 МБ hit ratio увеличился с 0.1436 до 0.3538 (рост на 146%), при 100 МБ улучшение составило 15%, а при 400 МБ ссылка на показатели LRU оказалась сопоставимой. Дополнительная нагрузка на CPU не превышала 2%, а p95 задержка укладывалась в микросекундный лимит. На практике это привело к снижению обращений к источнику на 23% и заметной оптимизации инфраструктурных затрат. В дальнейших исследованиях планируется применение альтернативных архитектур, таких как Gradient Boosting и BART, а также изучение федеративного обучения на периферийных узлах для решения задач пакетного планирования и распределения памяти. #статья