ControlNet video2video workflow

Подготовка видео

Нужно сохранить исходное видео покадрово в файлы jpeg. Для этого есть 2 варианта

• Воспользоваться онлайн конвертерами, например https://ezgif.com/video-to-jpg
• ffmpeg -i input.mp4 -vf fps=10 output/%04d.jpg
  • опционально можно передать параметр -t 10 - только первые 10 секунд видео

Настройка

• Settings/ControlNet установлен чекбокс Do not append detectmap to output

Процесс

• На вкладке img2img сначала копируем картинку.
• Включаем ControlNet
• Выбираем нужный препроцессор и модель, например canny
• Играемся с тем во что хотим превратить исходное изображение, фиксируем сид и прочие параметры
• Очищаем картинку из img2img и контрола, переходим на вкладку Batch
• в input папка со всеми картинками, в output - куда будут положены будущие кадры
• Жмем, ждем. на 10 секунд нужно где то 30 минут, в зависимости от настроек

Получение видео

• https://ezgif.com/maker
• ffmpeg -f image2 -r 10 -i output/%04d.jpg -vcodec libx264 -crf 18 -pix_fmt yuv420p output.mp4
  • -r 10 framerate (fps)

Links

• ТыТруба - ControlNET to Video - Stable Diffusion Automatic 1111 Tutorial