🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Рубрика "Утренняя статья"
Технический отчет по Qwen-Image
(Qwen-Image Technical Report)
cсылка
Qwen-Image – это мультимодальная модель от Alibaba Cloud, объединяющая генерацию изображений и их редактирование. Модель особенно хорошо справляется с рендерингом сложного текста, включая многострочные макеты и китайский язык, что ранее вызывало проблемы у существующих систем. Основные задачи, решаемые моделью, заключаются в точном встраивании текста различных языков в изображение и редактировании выбранных областей без нарушения общей визуальной гармонии.
Методология включает:
• Комплексный конвейер данных для сбора, фильтрации, аннотации и синтеза изображений.
• Прогрессивную стратегию обучения, начиная с простых задач и переходя к более сложным, таким как работа с абзацами текста.
• Многоцелевой подход, охватывающий задачи преобразования текста в изображение (T2I), изображения в изображение (TI2I) и интерпретации изображений (I2I), а также дуальное кодирование, обеспечивающее баланс между семантикой и визуальной точностью.
• Введение новой позиции MSROPE, улучшающей совместную обработку текстовой и визуальной информации.
• Использование методов предобучения с Flow Matching и дообучения через SFT и RL для повышения реалистичности генерируемых изображений.
Результаты демонстрируют, что Qwen-Image превосходит конкурентов по качеству рендеринга текста и точности редактирования, получая высокие оценки на таких бенчмарках, как DPG, GenEval, OneIG-Bench, ImgEdit, а также на ChineseWord и LongText-Bench. Модель заняла третье место в AI Arena, обойдя конкурентов, таких как GPT Image 1 и FLUX.1 Kontext.
Дальнейшие планы развития включают интеграцию с мультимодальными VLUIs, расширение применения на 3D и видео, что способствует созданию систем, способных одновременно понимать, анализировать и творить в видеохудожественной и когнитивной сферах.
#статья