ComfyUI Wan2.1 Fun InP 동영상 예시

이 가이드에서는 ComfyUI에서 Wan2.1 Fun InP를 사용해 첫 프레임과 마지막 프레임 제어 기능을 갖춘 동영상을 생성하는 방법을 보여줍니다.

​

Wan2.1-Fun-InP 소개

Wan-Fun InP는 알리바바가 공개한 오픈소스 영상 생성 모델로, Wan2.1-Fun 시리즈의 일부이며, 이미지로부터 첫 프레임과 마지막 프레임 제어 기능을 갖춘 동영상을 생성하는 데 중점을 두고 있습니다.

주요 특징:

• 첫 프레임과 마지막 프레임 제어: 첫 프레임과 마지막 프레임 이미지를 모두 입력해 그 사이의 전환 동영상을 생성할 수 있어 동영상의 일관성과 창의성을 높입니다. 이전 커뮤니티 버전에 비해 알리바바의 공식 모델은 더 안정적이고 훨씬 높은 품질의 결과를 제공합니다.
• 다양한 해상도 지원: 512×512, 768×768, 1024×1024 등 다양한 해상도로 동영상을 생성해 다양한 시나리오 요구사항을 충족합니다.

모델 버전:

• 1.3B 경량형: 로컬 배포 및 빠른 추론에 적합하며 낮은 VRAM 요구 사항
• 14B 고성능형: 모델 크기가 32GB 이상으로 더 나은 결과를 제공하지만 높은 VRAM 요구 사항

아래는 관련 모델 가중치와 코드 저장소입니다:

• Wan2.1-Fun-1.3B-Input
• Wan2.1-Fun-14B-Input
• 코드 저장소: VideoX-Fun

현재 ComfyUI는 Wan2.1 Fun InP 모델을 기본적으로 지원합니다. 이 튜토리얼을 시작하기 전에 ComfyUI를 업데이트하여 버전이 이 커밋 이후인지 확인해 주세요.

로컬 사용자

ComfyUI가 최신 버전으로 업데이트되었는지 확인하세요.

• ComfyUI 다운로드
• 업데이트 가이드

이 가이드의 워크플로는 워크플로 템플릿에서 확인할 수 있습니다. 템플릿에서 찾을 수 없다면, 귀하의 ComfyUI가 오래된 버전일 수 있습니다.

워크플로를 로드할 때 노드가 누락되는 경우, 가능한 원인:

1. 최신 ComfyUI 버전(최신 테스트 버전(nightly))을 사용하고 있지 않음
2. 일부 노드가 시작 시 가져오기에 실패함

클라우드 사용자

• 클라우드는 ComfyUI 안정판 출시 후 업데이트됩니다.

따라서 이 문서에서 핵심 노드가 누락된 것을 발견했다면, 그 이유는 새로운 핵심 노드가 아직 최신 안정판에 공개되지 않았기 때문일 수 있습니다. 다음 안정판 출시를 기다려 주세요.

​

Wan2.1 Fun InP 워크플로

​

1. 워크플로 다운로드

아래 이미지를 다운로드하여 ComfyUI로 드래그하면 워크플로를 불러올 수 있습니다:

Comfy Cloud에서 실행

Comfy Cloud에서 열기

워크플로 다운로드

JSON 다운로드 또는 템플릿 라이브러리에서 “Wan 2.1 Inpainting” 검색

시작 이미지

비디오 생성을 위한 시작 프레임입니다. 이 이미지를 다운로드하여 사용하거나, 자신의 이미지로 교체할 수 있습니다.

종료 이미지

비디오 생성을 위한 종료 프레임입니다. 이 이미지를 다운로드하여 사용하거나, 자신의 이미지로 교체할 수 있습니다.

​

2. 수동 모델 설치

자동 모델 다운로드가 효과적이지 않은 경우, 모델을 수동으로 다운로드하여 해당 폴더에 저장하세요.

이 가이드에 포함된 모든 모델은 Wan_2.1_ComfyUI_repackaged 및 Wan2.1-Fun에서 찾을 수 있습니다.

디퓨전 모델 : 1.3B 또는 14B를 선택하세요. 14B 버전은 파일 크기(32GB)가 더 크고 VRAM 요구 사항이 더 높습니다:

디퓨전 모델: Wan2.1 Fun InP 1.3B

models/diffusion_models/wan2.1_fun_inp_1.3B_bf16.safetensors

디퓨전 모델: Wan2.1 Fun InP 14B

models/diffusion_models/Wan2.1-Fun-14B-InP.safetensors (다운로드 후 이름 바꾸기)

텍스트 인코더 : 다음 모델 중 하나를 선택하세요 (fp16 정밀도는 크기가 더 크고 성능 요구 사항이 더 높습니다):

텍스트 인코더: umt5_xxl_fp16

models/text_encoders/umt5_xxl_fp16.safetensors

텍스트 인코더: umt5_xxl_fp8

models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors

VAE

VAE: wan_2.1_vae

models/vae/wan_2.1_vae.safetensors

CLIP 비전

CLIP 비전: clip_vision_h

models/clip_vision/clip_vision_h.safetensors

파일 저장 위치:

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   ├── wan2.1_fun_inp_1.3B_bf16.safetensors
│   │   └── Wan2.1-Fun-14B-InP.safetensors
│   ├── 📂 text_encoders/
│   │   ├── umt5_xxl_fp16.safetensors
│   │   └── umt5_xxl_fp8_e4m3fn_scaled.safetensors
│   ├── 📂 vae/
│   │   └── wan_2.1_vae.safetensors
│   └── 📂 clip_vision/
│       └── clip_vision_h.safetensors

​

3. 워크플로 단계별 완료

1. Load Diffusion Model 노드가 wan2.1_fun_inp_1.3B_bf16.safetensors를 로드했는지 확인하세요.
2. Load CLIP 노드가 umt5_xxl_fp8_e4m3fn_scaled.safetensors를 로드했는지 확인하세요.
3. Load VAE 노드가 wan_2.1_vae.safetensors를 로드했는지 확인하세요.
4. Load CLIP Vision 노드가 clip_vision_h.safetensors를 로드했는지 확인하세요.
5. 시작 프레임을 Load Image 노드에 업로드하세요 (Start_image로 이름 변경).
6. 종료 프레임을 두 번째 Load Image 노드에 업로드하세요.
7. (선택 사항) 프롬프트를 수정하세요 (영어와 중국어 모두 지원됨).
8. (선택 사항) WanFunInpaintToVideo에서 비디오 크기를 조정하세요. 지나치게 큰 크기는 피하세요.
9. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용하여 비디오 생성을 실행하세요.

​

4. 워크플로 참고 사항

올바른 모델을 사용하도록 주의하세요. wan2.1_fun_inp_1.3B_bf16.safetensors와 wan2.1_fun_control_1.3B_bf16.safetensors는 같은 폴더에 저장되어 있고 이름이 매우 비슷합니다. 올바른 모델을 사용 중인지 확인하세요.

• Wan Fun InP를 사용할 때는 해당 장면 전환의 정확성을 보장하기 위해 프롬프트를 자주 수정해야 할 수 있습니다.

​

기타 Wan2.1 Fun InP 또는 동영상 관련 커스텀 노드 패키지

• ComfyUI-VideoHelperSuite
• ComfyUI-WanVideoWrapper
• ComfyUI-KJNodes