ComfyUI OmniGen2 네이티브 워크플로우 예시

ComfyUI OmniGen2 네이티브 워크플로우 예시 - 통합 텍스트 기반 이미지 생성, 이미지 편집 및 다중 이미지 합성 모델

​

OmniGen2 소개

OmniGen2는 약 7B의 총 파라미터(텍스트 모델 3B + 이미지 생성 모델 4B)를 갖춘 강력하고 효율적인 통합 멀티모달 생성 모델입니다. OmniGen v1과 달리, OmniGen2는 완전히 독립된 텍스트 자기회귀 모델과 이미지 확산 모델을 갖춘 혁신적인 이중 경로 트랜스포머 아키텍처를 채택해 파라미터 분리와 특화된 최적화를 달성했습니다.

​

모델 주요 특징

• 시각적 이해: Qwen-VL-2.5 파운데이션 모델의 강력한 이미지 콘텐츠 해석 및 분석 능력을 계승
• 텍스트 기반 이미지 생성: 텍스트 프롬프트로부터 고화질이고 미학적으로 뛰어난 이미지를 생성
• 지시어 기반 이미지 편집: 복잡한 지시어 기반 이미지 수정을 수행하며, 오픈소스 모델 중 최고 수준의 성능 달성
• 맥락 기반 생성: 사람, 참조 객체, 장면 등 다양한 입력을 처리하고 유연하게 조합해 참신하고 일관된 시각적 출력을 생성하는 다재다능한 기능

​

기술적 특징

• 이중 경로 아키텍처: Qwen 2.5 VL (3B) 텍스트 인코더 + 독립적 확산 트랜스포머 (4B) 기반
• Omni-RoPE 위치 인코딩: 다중 이미지 공간 위치 지정 및 개체 식별 지원
• 파라미터 분리 설계: 텍스트 생성이 이미지 품질에 부정적인 영향을 미치는 것을 방지
• 복잡한 텍스트 이해 및 이미지 이해 지원
• 제어 가능한 이미지 생성 및 편집
• 뛰어난 디테일 보존 능력
• 여러 이미지 생성 작업을 지원하는 통합 아키텍처
• 텍스트 생성 기능: 이미지 내 명확한 텍스트 콘텐츠 생성 가능

휴대용 또는 자체 배포 사용자

ComfyUI가 최신 버전으로 업데이트되었는지 확인하세요.

• ComfyUI 다운로드
• 업데이트 가이드

이 가이드의 워크플로우는 워크플로우 템플릿에서 확인할 수 있습니다. 템플릿에서 찾을 수 없다면, 귀하의 ComfyUI가 오래된 버전일 수 있습니다. (데스크톱 버전의 업데이트는 다소 지연될 수 있습니다)

워크플로우를 로드할 때 노드가 누락되는 경우, 가능한 원인:

1. 최신 ComfyUI 버전(야간 빌드)을 사용하고 있지 않음
2. 일부 노드가 시작 시 가져오기에 실패함

데스크톱 또는 클라우드 사용자

• 데스크톱 버전은 ComfyUI 안정판 기반으로, 새로운 데스크톱 안정판이 출시되면 자동으로 업데이트됩니다.
• 클라우드는 ComfyUI 안정판 출시 후 업데이트됩니다.

따라서 이 문서에서 핵심 노드가 누락된 것을 발견했다면, 그 이유는 새로운 핵심 노드가 아직 최신 안정판에 공개되지 않았기 때문일 수 있습니다. 다음 안정판 출시를 기다려 주세요.

​

OmniGen2 모델 다운로드

본 문서에는 다양한 워크플로우가 포함되어 있으므로, 해당 모델 파일과 설치 위치는 다음과 같습니다. 모델 파일의 다운로드 정보는 각 워크플로우에도 포함되어 있습니다.

확산 모델

• omnigen2_fp16.safetensors

VAE

• ae.safetensors

텍스트 인코더

• qwen_2.5_vl_fp16.safetensors

파일 저장 위치:

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   └── omnigen2_fp16.safetensors
│   ├── 📂 vae/
│   │   └── ae.safetensors
│   └── 📂 text_encoders/
│       └── qwen_2.5_vl_fp16.safetensors

​

ComfyUI OmniGen2 텍스트 기반 이미지 생성 워크플로우

​

1. 워크플로우 파일 다운로드

Comfy Cloud에서 실행

​

2. 워크플로우 단계별 완료

이미지에 번호가 표시된 단계를 따라 차근차근 확인하며 해당 워크플로우를 원활히 진행하세요.

1. 메인 모델 로드: Load Diffusion Model 노드가 omnigen2_fp16.safetensors를 로드하는지 확인하세요.
2. 텍스트 인코더 로드: Load CLIP 노드가 qwen_2.5_vl_fp16.safetensors를 로드하는지 확인하세요.
3. VAE 로드: Load VAE 노드가 ae.safetensors를 로드하는지 확인하세요.
4. 이미지 크기 설정: EmptySD3LatentImage 노드에서 생성할 이미지 크기를 설정하세요(권장 크기 1024x1024).
5. 입력 프롬프트:
   • 첫 번째 CLIPTextEncode 노드에 긍정적 프롬프트를 입력하세요(이미지에 나타나길 원하는 내용).
   • 두 번째 CLIPTextEncode 노드에 부정적 프롬프트를 입력하세요(이미지에 나타나지 않길 원하는 내용).
6. 생성 시작: Queue Prompt 버튼을 클릭하거나, 단축키 Ctrl(cmd) + Enter를 사용해 텍스트 기반 이미지 생성을 실행하세요.
7. 결과 확인: 생성이 완료되면 해당 이미지들이 자동으로 ComfyUI/output/ 디렉터리에 저장되며, SaveImage 노드에서 미리보기할 수 있습니다.

​

ComfyUI OmniGen2 이미지 편집 워크플로우

OmniGen2는 풍부한 이미지 편집 기능을 갖추고 있으며, 이미지에 텍스트 추가도 지원합니다.

​

1. 워크플로우 파일 다운로드

Comfy Cloud에서 실행

아래 이미지를 다운로드하세요. 이 이미지를 입력 이미지로 사용하겠습니다.

​

2. 워크플로우 단계별 완료

1. 메인 모델 로드: Load Diffusion Model 노드가 omnigen2_fp16.safetensors를 로드하는지 확인하세요.
2. 텍스트 인코더 로드: Load CLIP 노드가 qwen_2.5_vl_fp16.safetensors를 로드하는지 확인하세요.
3. VAE 로드: Load VAE 노드가 ae.safetensors를 로드하는지 확인하세요.
4. 이미지 업로드: 제공된 이미지를 Load Image 노드에서 업로드하세요.
5. 입력 프롬프트:
   • 첫 번째 CLIPTextEncode 노드에 긍정적 프롬프트를 입력하세요(이미지에 나타나길 원하는 내용).
   • 두 번째 CLIPTextEncode 노드에 부정적 프롬프트를 입력하세요(이미지에 나타나지 않길 원하는 내용).
6. 생성 시작: Queue Prompt 버튼을 클릭하거나, 단축키 Ctrl(cmd) + Enter를 사용해 텍스트 기반 이미지 생성을 실행하세요.
7. 결과 확인: 생성이 완료되면 해당 이미지들이 자동으로 ComfyUI/output/ 디렉터리에 저장되며, SaveImage 노드에서 미리보기할 수 있습니다.

​

3. 추가 워크플로우 안내

• 두 번째 이미지 입력을 활성화하려면, 워크플로우에서 분홍색/보라