ML Product Hub - ML новости

Рубрика "Утренняя статья" Технический отчет по Qwen-Image (Qwen-Image Technical Report) cсылка Qwen-Image – это мультимодальная модель от Alibaba Cloud, объединяющая генерацию изображений и их редактирование. Модель особенно хорошо справляется с рендерингом сложного текста, включая многострочные макеты и китайский язык, что ранее вызывало проблемы у существующих систем. Основные задачи, решаемые моделью, заключаются в точном встраивании текста различных языков в изображение и редактировании выбранных областей без нарушения общей визуальной гармонии. Методология включает: • Комплексный конвейер данных для сбора, фильтрации, аннотации и синтеза изображений. • Прогрессивную стратегию обучения, начиная с простых задач и переходя к более сложным, таким как работа с абзацами текста. • Многоцелевой подход, охватывающий задачи преобразования текста в изображение (T2I), изображения в изображение (TI2I) и интерпретации изображений (I2I), а также дуальное кодирование, обеспечивающее баланс между семантикой и визуальной точностью. • Введение новой позиции MSROPE, улучшающей совместную обработку текстовой и визуальной информации. • Использование методов предобучения с Flow Matching и дообучения через SFT и RL для повышения реалистичности генерируемых изображений. Результаты демонстрируют, что Qwen-Image превосходит конкурентов по качеству рендеринга текста и точности редактирования, получая высокие оценки на таких бенчмарках, как DPG, GenEval, OneIG-Bench, ImgEdit, а также на ChineseWord и LongText-Bench. Модель заняла третье место в AI Arena, обойдя конкурентов, таких как GPT Image 1 и FLUX.1 Kontext. Дальнейшие планы развития включают интеграцию с мультимодальными VLUIs, расширение применения на 3D и видео, что способствует созданию систем, способных одновременно понимать, анализировать и творить в видеохудожественной и когнитивной сферах. #статья