ComfyUI Wan2.2 Fun Inp 시작-끝 프레임 동영상 생성 예제

이 기사는 ComfyUI를 사용해 Wan2.2 Fun Inp 시작-끝 프레임 동영상 생성 예제를 완성하는 방법을 소개합니다.

Wan2.2-Fun-Inp는 알리바바 PAI 팀이 출시한 시작-끝 프레임 제어 동영상 생성 모델입니다. 이 모델은 시작 및 끝 프레임 이미지를 입력해 중간 전환 동영상을 생성할 수 있어 크리에이터들이 더욱 창의적인 제어를 할 수 있도록 지원합니다. 이 모델은 Apache 2.0 라이선스로 배포되며 상업적 사용도 가능합니다.

주요 특징:

• 시작-끝 프레임 제어: 시작 및 끝 프레임 이미지를 입력해 중간 전환 동영상을 생성할 수 있어 동영상의 일관성과 창의성을 강화합니다.
• 고품질 동영상 생성: Wan2.2 아키텍처를 기반으로 영화 수준의 고품질 동영상을 출력합니다.
• 다중 해상도 지원: 512×512, 768×768, 1024×1024 등 다양한 해상도로 동영상을 생성해 다양한 시나리오에 맞게 활용할 수 있습니다.

모델 버전:

• 14B 고성능 버전: 모델 크기가 32GB를 초과하며 더 나은 결과를 제공하지만 높은 VRAM을 요구합니다.

아래는 관련 모델 가중치와 코드 저장소입니다:

• 🤗Wan2.2-Fun-Inp-14B
• 코드 저장소: VideoX-Fun

​

ComfyOrg Wan2.2 Fun InP & Control 유튜브 라이브 스트림 다시보기

​

Wan2.2 Fun Inp 시작-종료 프레임 비디오 생성 워크플로 예시

로컬 사용자

ComfyUI가 최신 버전으로 업데이트되었는지 확인하세요.

• ComfyUI 다운로드
• 업데이트 가이드

이 가이드의 워크플로는 워크플로 템플릿에서 확인할 수 있습니다. 템플릿에서 찾을 수 없다면, 귀하의 ComfyUI가 오래된 버전일 수 있습니다.

워크플로를 로드할 때 노드가 누락되는 경우, 가능한 원인:

1. 최신 ComfyUI 버전(최신 테스트 버전(nightly))을 사용하고 있지 않음
2. 일부 노드가 시작 시 가져오기에 실패함

클라우드 사용자

• 클라우드는 ComfyUI 안정판 출시 후 업데이트됩니다.

따라서 이 문서에서 핵심 노드가 누락된 것을 발견했다면, 그 이유는 새로운 핵심 노드가 아직 최신 안정판에 공개되지 않았기 때문일 수 있습니다. 다음 안정판 출시를 기다려 주세요.

이 워크플로는 두 가지 버전을 제공합니다:

1. 비디오 생성을 가속화하는 lightx2v의 Wan2.2-Lightning 4-step LoRA를 사용하는 버전
2. 가속 LoRA가 없는 fp8_scaled 버전

다음은 RTX4090D 24GB VRAM GPU에서 640x640 해상도, 81프레임으로 테스트한 결과입니다.

모델 유형	VRAM 사용량	첫 번째 생성 시간	두 번째 생성 시간
fp8_scaled	83%	≈ 524s	≈ 520s
fp8_scaled + 4-step LoRA	89%	≈ 138s	≈ 79s

LoRA를 통한 가속 효과는 크지만 비디오의 역동성이 줄어들기 때문에, 제공되는 워크플로는 기본적으로 가속 LoRA 버전을 활성화해 두었습니다. 다른 워크플로를 사용하려면 해당 워크플로를 선택하고 Ctrl+B를 눌러 활성화하세요.

​

1. 워크플로 파일 다운로드

ComfyUI를 최신 버전으로 업데이트한 다음, 워크플로 -> 템플릿 탐색 -> 비디오 메뉴에서 “Wan2.2 Fun Inp”를 찾아 워크플로를 불러오세요.

또는 ComfyUI를 최신 버전으로 업데이트한 이후 아래 워크플로를 다운로드하여 ComfyUI로 끌어다 놓아 불러올 수도 있습니다.

Comfy Cloud에서 실행

Comfy Cloud에서 열기

워크플로 다운로드

JSON을 다운로드하거나 템플릿 라이브러리에서 “Wan2.2 Fun Inp”를 검색하세요.

시작 및 종료 프레임으로 다음 자료를 사용하세요.

입력 자료

video_wan2_2_14B_fun_inpaint_start_image.png

비디오 생성을 위한 시작 프레임입니다. 이 이미지를 다운로드하여 사용하거나, 자신의 이미지로 교체할 수 있습니다.

video_wan2_2_14B_fun_inpaint_end_image.png

비디오 생성을 위한 종료 프레임입니다. 이 이미지를 다운로드하여 사용하거나, 자신의 이미지로 교체할 수 있습니다.

​

2. 모델

이 가이드에서 사용되는 모든 모델은 여기에서 확인할 수 있습니다.

Diffusion 모델

High Noise 14B FP8 Scaled

wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors: 시작-종료 프레임 inpainting용 High Noise diffusion 모델

Low Noise 14B FP8 Scaled

wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors: 시작-종료 프레임 inpainting용 Low Noise diffusion 모델

Lightning LoRA (선택 사항, 가속용)

Lightning 4-Step High Noise LoRA

wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors: High Noise 모델용 4-step 가속 LoRA

Lightning 4-Step Low Noise LoRA

wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors: Low Noise 모델용 4-step 가속 LoRA

VAE

Wan2.1 VAE

wan_2.1_vae.safetensors: 인코딩 및 디코딩용 Wan2.1 VAE

텍스트 인코더

UMT5 XXL FP8 Scaled

umt5_xxl_fp8_e4m3fn_scaled.safetensors: Scaled FP8 텍스트 인코더

ComfyUI/
├───📂 models/
│   ├───📂 diffusion_models/
│   │   ├─── wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors
│   │   └─── wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors
│   ├───📂 loras/
│   │   ├─── wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors
│   │   └─── wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors
│   ├───📂 text_encoders/
│   │   └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors 
│   └───📂 vae/
│       └── wan_2.1_vae.safetensors

​

3. 워크플로 가이드

이 워크플로는 LoRA를 사용합니다. 해당 Diffusion 모델과 LoRA가 일치하는지 확인하세요.

1. 높은 노이즈 모델 및 LoRA 로딩
   • Load Diffusion Model 노드가 wan2.2_fun_inpaint_high_noise_14B_fp8_scaled.safetensors 모델을 로드하는지 확인하세요.
   • LoraLoaderModelOnly 노드가 wan2.2_i2v_lightx2v_4steps_lora_v1_high_noise.safetensors를 로드하는지 확인하세요.
2. 낮은 노이즈 모델 및 LoRA 로딩
   • Load Diffusion Model 노드가 wan2.2_fun_inpaint_low_noise_14B_fp8_scaled.safetensors 모델을 로드하는지 확인하세요.
   • LoraLoaderModelOnly 노드가 wan2.2_i2v_lightx2v_4steps_lora_v1_low_noise.safetensors를 로드하는지 확인하세요.
3. Load CLIP 노드가 umt5_xxl_fp8_e4m3fn_scaled.safetensors 모델을 로드하는지 확인하세요.
4. Load VAE 노드가 wan_2.1_vae.safetensors 모델을 로드하는지 확인하세요.
5. 시작 프레임과 종료 프레임 이미지를 재료로 업로드하세요.
6. Prompt 그룹에 프롬프트를 입력하세요.
7. WanFunInpaintToVideo 노드에서 크기와 비디오 길이를 조정하세요.
   • width 및 height 파라미터를 조정하세요. 기본값은 640입니다. 저희는 더 작은 크기로 설정했지만 필요에 따라 수정할 수 있습니다.
   • 총 프레임 수인 length를 조정하세요. 현재 워크플로우의 fps는 16입니다. 예를 들어 5초짜리 비디오를 생성하려면 5*16 = 80으로 설정해야 합니다.
8. Run 버튼을 클릭하거나 단축키 Ctrl(cmd) + Enter를 사용하여 비디오 생성을 실행하세요.