ML Product Hub - ML новости

Рубрика "Утренняя статья" OmniTry: Виртуальная примерка без масок (OmniTry: Virtual Try-On Anything without Masks) cсылка В приведенной статье рассказывается о OmniTry, интегрированной виртуальной системе примерки, которая работает не только с одеждой, но и с аксессуарами, ювелирными изделиями и другими носимыми предметами без использования масок. Основной проблемой в системах виртуальной примерки является получение парных изображений (одного объекта и одного объекта примерки), особенно при работе с различными типами предметов. Чтобы решить эту проблему, авторы предлагают двухэтапный процесс обучения. Первый этап включает в себя локализацию без масок, при которой используется большое количество необработанных портретных изображений, содержащих различные предметы, которые можно носить. На этом этапе используется модель, обычно используемая для рисования изображений, чтобы научиться правильному размещению объектов, дополненная стратегией "стирания следов", предназначенной для удаления нежелательных артефактов и обеспечения того, чтобы модель научилась реалистично передавать объект. На втором этапе система фокусируется на сохранении идентичности объекта во время виртуальной примерки. Тонкая настройка выполняется с использованием парных изображений, когда система интегрирует информацию, относящуюся к конкретному объекту, в базовую модель, используя механизм полного внимания с маскировкой и двумя потоками адаптеров. Это позволяет системе точно воспроизводить внешний вид объекта, изменяя только область примерки. Результаты показывают, что OmniTry превосходит существующие методы как в локализации объектов, так и в сохранении идентификационных данных даже при ограниченном количестве обучающих данных. Кроме того, первый этап повышает эффективность системы в сценариях обучения с несколькими кадрами. Авторы также упоминают о возможных будущих улучшениях, направленных на расширение сферы применения системы виртуальной примерки, признавая при этом существующие ограничения, связанные с типами объектов и возможностями их преобразования, которые могут быть устранены за счет использования большего набора данных. #статья