🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Продолжая тему нейронок.
Стал брать заказы по генерации контента — и вот какой момент.
Проекты делаются долго, какие-то технологии успевают устареть. Плюс работать зачастую приходится на основе чужой раскадровки, и от этого руки связаны: сложно контролировать результат. И спустя несколько таких проектов начинаешь задумываться: «Фигня какая-то получается — а я вообще могу сделать нормально?»
И вот решил закрыть для себя этот вопрос. Сделал небольшой творческий проект.
1. В клоде придумал продукт, концепцию, сгенерил.
2. Прописал идею, сценарий, сделал раскадровку (клод+мозги).
3. Нагенерил кучу ассетов (гптимадж2).
4. Пошёл в Seedance генерить видео.
Генерил без референсных кадров — только ассеты, подгруженные элементами, плюс промпт.
В 1080p.
Почему не 4K? Попробовал: да, резче, красивее, но реализма от этого больше не становится. Наоборот, при стилизации этого проекта подчёркиваются пластиковые фактуры, которые делают картинку более «нейронской». Да и стоит дофигища.
По звуку сразу дал контроль, чтобы не было музыки — только SFX.
5. Из кучи генераций собрал монтаж.
6. Нагенерил музыку, всё собрал.
7. Показываю вам, что получилось: норм или стрём?
Из интересного:
1. Сначала генерил кусочками по нескольку шотов — работает хорошо, но всегда есть что-то не то. Например, делаю 3 шота в одной генерации: 1 и 2 ок, третий не нравится. Чтобы исправить, приходится перегенерировать все три — и заплатить за все три. Поэтому начал генерить по одному шоту, и так стало выходить раза в 2 экономнее, но без знаний монтажа (принципов) тут уже не обойтись.
2. Реализм. Заметил: если подгружать референсы локаций, картинка становится более пластиковой, если только персонажа — сильно лучше. Персонажа тоже сгенерил сразу в костюме и с макияжем — и это уже задавало стилизацию, которую подхватывал Seedance. Для настоящего ультрареализма нужен стоковый персонаж на нейтральном фоне без стиля, а детали добавлять уже в промпте — слушаться будет хуже, зато картинка реальнее.
3. Пытался описывать в промпте плёночный эффект, цветокор, шумы и т.п. Цветокор слушается хорошо, а вот плёнку и шумы — не очень: где-то шумы есть, где-то нет, а про компрессию плёнки, халейшен и блум вообще речи не было. На выходе получал супер-аккуратную, гладкую, чистую картинку.
Но решается это изи: накидываем Dehancer в DaVinci — и готово. Это сильно прокачивает саму картинку — уходит «нейронность» во многих кадрах.
4. Пролёт через глаз. Ух, тут ему туго давалось — и отражения в глазах, и пролёт через зрачок. Seedance думает: «ага, зрачок тёмный — значит, нужно пройти через ЗТМ». Плюс когда оказывается в новой сцене, он её как бы апскейлит из того, что отражалось в глазу, — и там не очень удалось добиться нормального качества. Но вообще решить можно — вопрос токенов.
5. Монтаж. Вот как ни крути — без него никак. Если бы я просто склеил сгенеренные кусочки в ряд, видос был бы на полторы минуты, с рваными склейками, с прыгающей динамикой и т.п. Если хочешь этого избежать — будь добр сто раз посмотреть, подумать и склеить. И это норма: так и должен идти процесс, в реальности он точно такой же.
6. Мелкие объекты. Попробуйте заставить её держать банку нужного вам размера, генерируя всего один кадр, который не знает, как было до этого, — замучаетесь. А если хотите ещё и нормально пшикнуть, нажав на распылитель, — оооо, удачи))) (но сделать можно, вопрос токенов опять же).
Вообще нюансов просто куча — в каждом проекте проявляются свои новые проблемы, которые нужно решать.
В принципе могу записать тутор-разбор по этому видосу, если хотите — рассказать есть что.
Чё ещё хочется сказать.
Глобально — мне нравится. Можно ли сделать реальнее, продуманнее, контролируемее? Да, конечно можно. Даже если сейчас откатиться на 2 дня назад, я бы уже сделал лучше — просто зная, на чём сэкономить токены и куда их перенаправить.
Но в этом деле лучше не быть перфекционистом: если что-то не получается — отпусти и иди дальше, иначе разоришься. Технически надрываться стоит только в коммерции.
В комментах выложу продолжение, посчитаем математику и прикинем сколько это могло бы стоить.