🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Рубрика "Утренняя статья"
Обучаемая динамическая маска разреженного внимания
(Trainable Dynamic Mask Sparse Attention)
cсылка
DMA — это метод, позволяющий большим языковым моделям обрабатывать более длинные контексты за счёт динамического выбора наиболее важных токенов для расчёта внимания.
Этот метод решает проблему квадратичной вычислительной сложности стандартного механизма самовнимания, которая создаёт существенные вычислительные затраты при работе с длинными последовательностями. Основные идеи DMA включают генерацию маски, зависящей от содержимого, что позволяет модели выделять наиболее важные части текста, и использование позиционной информации для пропуска ненужных вычислений.
В результате достигается значительное ускорение (до 15.5-кратного по сравнению с традиционными методами) и сохранение или даже улучшение качества модели. DMA успешно справляется с задачами, требующими ассоциативного воспроизведения информации, демонстрирует улучшения в показателях сложности (perplexity) и показывает значительные ускорения, особенно при обработке длинных последовательностей.
Будущие направления исследования включают адаптивный выбор размера окна, улучшение механизмов позиционного кодирования (возможно, с заменой RoPE) и расширение применения метода на мультимодальные задачи, такие как обработка изображений, аудио и видео.
#статья