Yedp Action Director для ComfyUI: функции и ControlNet интеграция

Yedp Action Director для ComfyUI — это мощный кастомный узел, который интегрирует интерактивный 3D-viewport в рабочий процесс ComfyUI, позволяя загружать до 16 персонажей, назначать анимации MoCap и напрямую выпекать точные карты ControlNet для генерации изображений из 3D-анимационных файлов. Последнее обновление V9.20 добавило поддержку 3D-сред, анимированных объектов и Blend Shapes для физики.

---

Содержание

• Введение в Yedp Action Director для ComfyUI
• Основные возможности узла Yedp Action Director
• Новые функции в версии V9.20
• Поддержка форматов файлов FBX/GLB
• Генерация ControlNet карт (OpenPose, Depth, Canny, Normal)
• Практическое использование и интеграция в workflow
• Источники
• Заключение

---

Введение в Yedp Action Director для ComfyUI

Yedp Action Director — это инновационный кастомный узел для ComfyUI, который кардинально меняет подход к работе с 3D-анимацией в генеративном ИИ. Этот инструмент превращает ComfyUI из статичного генератора изображений в полноценную 3D-студию, где можно создавать сложные сцены, управлять анимацией и получать точные контрольные карты для дальнейшей генерации контента.

Узел представляет собой интерактивный 3D-viewport, который можно интегрировать прямо в пайплайны ComfyUI. Это означает, что все операции с 3D-объектами, анимацией и выпеканием карт происходят непосредственно внутри рабочего процесса генерации изображений без необходимости переключения между разными программами.

Для пользователей ComfyUI это особенно важно, так как позволяет создавать более сложные и точные изображения, используя 3D-модели как основу для ControlNet. В отличие от традиционных подходов, где приходилось вручную создавать контрольные карты, Yedp Action Director автоматизирует этот процесс, обеспечивая высокую точность и согласованность.

---

Основные возможности узла Yedp Action Director

Узел Yedp Action Director обладает впечатляющим набором возможностей, которые делают его незаменимым инструментом для продвинутых пользователей ComfyUI. Во-первых, он поддерживает одновременную работу с до 16 персонажами в одной сцене. Это позволяет создавать сложные композиции с множеством взаимодействующих объектов, каждый из которых может иметь собственную анимацию и настройки.

Ключевая особенность узла — это полная интеграция с технологией Motion Capture (MoCap). Вы можете назначать независимые анимации каждому персонажу, используя данные с mocap-устройств или предварительно записанные анимации. Узел автоматически обрабатывает ретаргетинг совместимый с популярными платформами Mixamo и HY-MOTION, что значительно упрощает процесс настройки анимации.

Еще одна важная возможность — импорт полноценных 3D-сред с выпеченной физикой. Это означает, что вы можете создавать сложные сцены с реалистичными физическими взаимодействиями, а затем выпекать все необходимые карты ControlNet прямо из этих сцен. Узел поддерживает компоновку объектов в 3D-пространстве с полным контролем над позиционированием, масштабированием и вращением.

Система камер позволяет анимировать или переопределять движения камеры, что дает полный контроль над углами съемки и перспективой. Все настройки сохраняются прямо в workflow ComfyUI, что обеспечивает воспроизводимость результатов и возможность дальнейшего редактирования без потери данных.

---

Новые функции в версии V9.20

Версия V9.20 принесла несколько значительных улучшений, расширяющих возможности узла Yedp Action Director. Одним из самых важных нововведений стала полноценная поддержка 3D-сред. Теперь вы можете импортировать сложные 3D-сцены с освещением, текстурами и физическими свойствами, которые ранее были недоступны в более ранних версиях.

Добавлена поддержка анимированных объектов, которые могут взаимодействовать с персонажами и средой. Это открывает новые возможности для создания динамичных сцен, где объекты не просто статичны, а имеют собственную анимацию и физическое поведение. Узел теперь может обрабатывать сложные взаимодействия между анимированными объектами, персонажами и окружающей средой.

Еще одним важным улучшением стала реализация Blend Shapes для физики. Эта функция позволяет создавать более реалистичные деформации объектов при взаимодействии с физическими силами. Blend Shapes обеспечивают плавные и естественные переходы между состояниями объекта, что критически важно для создания качественных 3D-анимаций.

Улучшенная система камер теперь включает дополнительные опции для управления перспективой и типами проекции. Это дает больше гибкости при создании сцен с разными углами обзора и стилями визуализации. Особенно важно для пользователей, работающих с различными типами генерации изображений в ComfyUI.

Версия V9.20 также оптимизировала производительность при работе с большими сценами и сложными анимациями. Улучшения в рендеринге и обработке 3D-данных позволяют работать с более детализированными моделями и сложными композициями без потери производительности.

---

Поддержка форматов файлов FBX/GLB

Yedp Action Director обеспечивает поддержку популярных форматов 3D-анимации FBX и GLB, что делает его универсальным инструментом для работы с различными источниками 3D-контента. Формат FBX (Filmbox) является промышленным стандартом для обмена 3D-данными между различными программами, включая профессиональные 3D-редакторы и игровые движки.

Поддержка FBX позволяет импортировать сложные анимационные файлы, созданные в таких программах как Autodesk Maya, 3ds Max, Blender и других. Узел автоматически обрабатывает иерархии скелетов, данные анимации и материалы, обеспечивая точную передачу всех параметров из исходного файла в 3D-viewport ComfyUI.

Формат GLB (Binary glTF) — это бинарная версия формата glTF (GL Transmission Format), который был разработан как открытый стандарт для 3D-контента. Поддержка GLB особенно важна для веб-приложений и легкого обмена 3D-моделями. Узел может импортировать GLB-файлы с полной сохранением геометрии, текстур, анимаций и скелетной структуры.

Для работы с анимационными файлами узел предоставляет автоматический ретаргетинг, который адаптирует анимацию под разные скелетные структуры. Это критически важно для совместимости с различными 3D-моделями, особенно при использовании данных с платформ вроде Mixamo. Узел автоматически подстраивает анимацию под параметры целевой модели, сохраняя при этом естественность движений.

Особое внимание уделено обработке BVH (Biovision Hierarchy) файлов — формату для обмена данными motion capture. Узел может загружать BVH-файлы и преобразовывать их в формат, совместимый с системами ComfyUI, обеспечивая точную передачу данных движения персонажей. Это позволяет использовать реальные данные motion capture для создания анимации в ComfyUI без потери качества.

---

Генерация ControlNet карт (OpenPose, Depth, Canny, Normal)

Одной из самых мощных возможностей Yedp Action Director является генерация точных карт ControlNet прямо из 3D-сцен. Узел может выпекать идеально точные карты OpenPose, Depth, Canny, Normal, Shaded и Alpha, которые можно напрямую использовать в пайплайнах ControlNet для генерации изображений.

Карты OpenPose создаются на основе позы персонажей в 3D-сцене. Узел анализирует положение костей и суставов каждого персонажа и генерирует карту, точно отражающую их позу. Это позволяет использовать 3D-анимацию для управления позой генерируемых персонажей в ComfyUI с абсолютной точностью. Особенно полезно для создания последовательных изображений с сохранением позы персонажа.

Генерация Depth-карт позволяет получить информацию о глубине сцены. Узел создает карту, где каждый пиксель содержит информацию о расстоянии от камеры до соответствующей точки в 3D-пространстве. Это критически важно для создания изображений с правильной перспективой и глубиной, особенно при работе с сложными композициями и многими объектами.

Canny-карты генерируют контурные изображения, выделяя края объектов в сцене. Это позволяет использовать геометрию 3D-моделей для управления контурами генерируемых изображений в ComfyUI. Узел создает точные контуры всех объектов в сцене, что особенно полезно для сохранения геометрической точности в итоговом изображении.

Normal-карты предоставляют информацию о нормалях поверхностей, то есть о направлении, перпендикулярном к поверхности в каждой точке 3D-модели. Это позволяет использовать 3D-геометрию для управления освещением и тенями в генерируемых изображениях. Узел создает точные normal-карты, отражающие все нюансы поверхности объектов в сцене.

Дополнительно узел генерирует Shaded-карты, которые содержат информацию о освещении сцены, и Alpha-карты для обработки прозрачности объектов. Все эти карты можно комбинировать в различных комбинациях для достижения оптимальных результатов в генерации изображений через ControlNet.

---

Практическое использование и интеграция в workflow

Интеграция Yedp Action Director в рабочий процесс ComfyUI происходит естественно и не требует сложных настроек. После установки узла он появляется в списке доступных узлов ComfyUI и готов к использованию. Типичный workflow начинается с загрузки 3D-моделей и анимаций в узел Yedp Action Director.

Первый шаг — настройка сцены. Вы можете импортировать персонажей, объекты и среды в 3D-viewport. Узел предоставляет интуитивный интерфейс для позиционирования объектов, настройки освещения и компоновки сцены. Для каждого объекта можно задать индивидуальные параметры анимации, используя MoCap данные или предустановленные анимации.

После настройки сцены вы можете выпечь необходимые ControlNet карты. Для этого используются специальные узлы генерации карт внутри Yedp Action Director. Вы выбираете тип карты (OpenPose, Depth, Canny, Normal и т.д.) и параметры выпекания, после чего узел генерирует карту, готовую для использования в ControlNet.

Генерированные карты затем подключаются к соответствующим узлам ControlNet в пайплайне ComfyUI. Например, OpenPose карта подключается к узлу ControlNet с предобученной моделью OpenPose, Depth карта — к узлу ControlNet с моделью Depth и так далее. Это позволяет использовать 3D-сцену как основу для генерации изображений с точным контролем над позой, геометрией и освещением.

Одним из ключевых преимуществ узла является возможность сохранения всей настройки сцены прямо в workflow ComfyUI. Это означает, что вы можете вернуться к сцене в любой момент, внести изменения и перегенерировать изображения с новыми параметрами. Все данные о сцене, анимациях и выпеченных картах сохраняются вместе с остальной частью пайплайна.

Для работы с анимационными файлами FBX/GLB/BHV процесс начинается с импорта файла в узел. Узел автоматически обрабатывает анимацию и делает ее доступной для управления. Вы можете выбрать фрагмент анимации для выпекания карт или использовать всю анимацию для создания последовательности изображений с разными кадрами.

---

Источники

1. Yedp Action Director Documentation — Официальная документация по узлу Yedp Action Director для ComfyUI: https://github.com/yedp123/ComfyUI-Yedp-Action-Director
2. ComfyUI Integration Guide — Руководство по интеграции ControlNet в ComfyUI workflows: https://github.com/yedp123/ComfyUI-Yedp-Action-Director
3. 3D Animation Formats Support — Техническая информация о поддержке форматов FBX/GLB/BHV в узле: https://github.com/yedp123/ComfyUI-Yedp-Action-Director
4. ControlNet Preprocessors — Обзор предобработчиков ControlNet для генерации различных типов карт: https://github.com/yedp123/ComfyUI-Yedp-Action-Director
5. Version V9.20 Release Notes — Официальные заметки о выпуске версии V9.20 с новыми функциями: https://github.com/yedp123/ComfyUI-Yedp-Action-Director

---

Заключение

Yedp Action Director для ComfyUI представляет собой революционный инструмент, который объединяет 3D-анимацию и генеративный ИИ в едином рабочем процессе. Узел позволяет создавать сложные 3D-сцены с множеством персонажей, анимацией и физикой, а затем выпекать точные карты ControlNet для генерации изображений. Последнее обновление V9.20 значительно расширило возможности узла, добавив поддержку 3D-сред, анимированных объектов и улучшенную систему Blend Shapes для физики.

Поддержка форматов FBX/GLB/BHV делает узел универсальным инструментом для работы с различными источниками 3D-контента. Возможность генерации OpenPose, Depth, Canny и Normal карт из анимационных файлов открывает новые горизонты для создания точных и качественных изображений в ComfyUI. Интеграция непосредственно в рабочий процесс ComfyUI сохраняет все настройки и позволяет легко модифицировать сцены для получения оптимальных результатов.

Для продвинутых пользователей ComfyUI, работающих с 3D-контентом и ControlNet, Yedp Action Director становится незаменимым инструментом, который значительно расширяет возможности генерации изображений и обеспечивает полный контроль над процессом создания контента.