CRM Convolutional Reconstruction Model

CRM — полезный базовый вариант локальной реконструкции для разработчиков, которые хотят изучить каждый этап: от шести сгенерированных ракурсов до текстурированного меша. При работе через командную строку сохраняются ракурсы и карты координат, а результат экспортируется в виде комплекта файлов OBJ с UV-текстурой. В размещённой в интернете демоверсии используются цвета вершин, поэтому при сравнении внешнего вида и времени выполнения нужно использовать один и тот же способ получения результата. Более старый стек CUDA/PyTorch усложняет настройку, а персонажу игры для взрослых перед анимацией всё ещё нужны проверка топологии, очистка меша и риггинг. Есть и конкретное препятствие для производственного использования: обязательная зависимость nvdiffrast по лицензии NVIDIA разрешена только для исследований и оценки. CRM лучше подходит для изучения реконструкции, чем для запуска коммерческого пайплайна создания персонажей со штатными зависимостями.

Коммерческое использование & лицензия

Код CRM распространяется под лицензией MIT, и в карточке его весов указана MIT. Для всех, кроме NVIDIA и её аффилированных компаний, обязательная зависимость nvdiffrast допускает использование только для некоммерческих исследований и оценки; код обработки геометрии, заимствованный из GET3D, также сохраняет уведомления NVIDIA. Указание MIT у CRM не означает, что штатный пайплайн разрешено использовать в коммерческом производстве. Отдельно проверьте совместимость условий использования исходных чекпойнтов и зависимостей.

Правила в отношении контента для взрослых

MIT не предоставляет прав на референсные изображения или внешность изображённых людей. В карточках весов исходных моделей ImageDream/MVDream указаны лицензии OpenRAIL и содержатся предостережения против создания тревожащих или оскорбительных изображений; перед использованием для контента для взрослых проверьте совместимость этих условий с указанием MIT у весов CRM. Штатный рендерер предназначен только для исследований и оценки. Доступ к размещённому сервису, выставление счетов и условия в отношении контента не проверены; наличие общего разрешения на контент для взрослых не установлено.

Читать политику ↗

Что вам понадобится

В документированной конфигурации используются Python 3.9, PyTorch 1.13.0 с CUDA 11.7, Kaolin 0.14.0, xformers и nvdiffrast. Требуется окружение NVIDIA/CUDA; настройка и минимальный объём VRAM не проверялись на практике.

Места в рейтинге — рекомендации для описанной задачи, основанные на изученной документации. Рейтинги моделей относятся к разработке без сексуально откровенного контента. Мы не проводили практических сравнительных тестов. Политики в отношении контента и коммерческие условия проверяйте отдельно. Как устроены рейтинги →