ML Product Hub - ML новости

Рубрика "Утренняя статья" CRINN: Контрастное обучение с подкреплением для поиска приближенных ближайших соседей (CRINN: Contrastive Reinforcement Learning for Approximate Nearest Neighbor Search) cсылка CRINN — это система, разработанная Университетом Вашингтона и командой DeepReinforce, которая автоматизирует оптимизацию алгоритмов поиска ближайших соседей (ANNS). Ключевая особенность системы заключается в использовании большой языковой модели (LLM) в сочетании с контрастным обучением с подкреплением для итеративного улучшения C++ кода. Благодаря этому подходу возможно значительное повышение производительности запросов (до 85,25%). Традиционно оптимизация ANNS требовала глубоких знаний в областях компьютерной архитектуры, параллельного программирования и математики, что делало её сложной и трудоемкой. CRINN же превращает задачу оптимизации в задачу обучения с подкреплением, где скорость выполнения кода используется в качестве сигнала награды. Модель анализирует уже сгенерированные варианты кода и их показатели, что позволяет выделять эффективные стратегии и постепенно совершенствовать ключевые модули — построения графа, поиска и уточнения. Исследования проводились на шести наборах данных, таких как SIFT-128-Euclidean, GIST-960-Euclidean и MNIST-784-Euclidean. Система продемонстрировала лучшие результаты на трех наборах данных и заняла лидирующие позиции на двух других, при этом наиболее значительные улучшения наблюдались в модуле построения графа. Будущие исследования планируют включение углового расстояния в качестве сигнала награды и использование ParlayANN как базовой модели для обучения, что подчеркивает потенциал применения обученных языковых моделей в автоматизации сложной оптимизации алгоритмов. #статья