ComfyUI 튜토리얼 : A111과의 차이점

지난번 포스팅까지는 Comfy UI의 기본적인 설치 방법에 대해 알아봤습니다. 
본격적으로 배우기 전, Comfy UI에 대해 가볍게 애해하는 시간을 가져보겠습니다. 
설치에 관한 내용은 아래 링크를 참고해주세요 :)
 

ComfyUI 설치1 : 필수프로그램(git, 파이썬)

 

comfy UI 설치2 : Portable버전 설치와 폴더 이해하기

 

1. ComfyUI란?

Comfy UI는 Stable Diffusion과 같은 AI 기반 이미지 생성 모델을 사용자가 시각적으로 다루기 쉽게 만든
노드 기반의 인터페이스입니다.
ComfyUI의 강력한 점은 복잡한 이미지 생성 작업을 시각적인 흐름으로 관리할 수 있다는 것입니다.
여기서 중요한 개념인 "노드"와 "노드 베이스 시스템"을 이해하는 것이 핵심입니다.
 
노드 기반 시스템은 comfy UI 뿐만 아니라 다양한 소프트웨어에서 사용되는 방식입니다.
대표적으로는 3D 모델링 프로그램인 블렌더, 게임엔진인 언리얼엔진 등에서 사용됩니다.
 

1-1 노드란 무엇인가?

노드는 ComfyUI에서 하나의 작업 또는 기능을 나타내는 단위 블록입니다.
예를 들어, 텍스트를 입력하는 노드, 모델을 불러오는 노드, 결과를 출력하는 노드 등이 있습니다.
comfy UI를 실행시켰을때, 바로 보이는 네모칸 하나하나가 노드인 것이죠.

 
각 노드는 독립적인 역할을 하며, 사용자는 이러한 노드들을 선으로 연결해 이미지 생성 과정을 설정합니다.
이 노드를 사용자가 자신에 입맛에 맞춰 시각적으로 배치하고, 그것들을 서로 연결하여 하나의 흐름(workflow),
“워크플로우”를 만들 수 있습니다.
워크플로우에 대해서는 추후에 설명하도록 하겠습니다.
 
하나의 텍스트 프롬프트를 입력하고, 해당 프롬프트를 기반으로 이미지를 생성하는 기본적인 노드 흐름은
다음과 같습니다.

1. 텍스트 프롬프트 입력 노드: 생성할 이미지의 설명을 입력하는 노드.
2. 모델 불러오기 노드: Stable Diffusion과 같은 AI 모델을 불러오는 노드.
3. 이미지 생성 노드: 입력한 텍스트를 기반으로 이미지를 생성하는 노드.
4. 출력 노드: 결과 이미지를 확인하는 노드.

이러한 방식으로 ComfyUI는 복잡한 AI 이미지 생성 과정을 노드들로 시각화하여 쉽게 이해하고 조작할 수 있게 해줍니다.
 

2. A1111과차이점

그렇다면 Comfy UI가 나오기 전에 많은 사랑을 받던 A111과는 어떤 차이점이 있는지 알아보도록 하겠습니다.
ComfyUI와 AUTOMATIC1111(A111)은 둘 다 Stable Diffusion을 사용하여 AI 이미지를 생성하는 툴이지만,
그 구조와 사용 방식에서 차이가 있습니다. 아래의 사진의 A111의 인터페이스입니다.

 
위쪽 빨간 네모박스를 보면 txt2img, img2img 등의 기능을 사용하기 편하게 되어있습니다.
다시말해 기본적으로 특정목적을 중심으로 프로세스가 고정되어있다는 말이죠.
 
따라서, 유저 입장에서는 ‘나는 지금 바로 텍스트로 이미지를 만들고 싶어’라고 하면 txt2img 탭에서 작업을 하면 되는거고, ‘이미지를 베이스로 작업해볼까?’ 하면 img2img 모드에서 바로 작업을 하면 됩니다.
매우 빠르게 결과물들을 얻어낼 수 있는 장점이 있다는 의미입니다.
 
이 A111역시 T2I든 I2I든 기능은 단순해보이지만, 그 안에는 기본적은 워크플로우 프로세스가 다 구축이 되어있습니다.
단지 사용자가 사용하기 쉽게 단순한 인터페이스에서 사용하고 있을 뿐입니다.
 
A111안에서도 수많은 강력한 기능을 할 수 있어서 지금도 많은 사람들에게 사랑받고 있습니다.
하지만, 문제는 직관적으로 사용하기 편하게 보여지는 부분 이외의 부분에서,
다시 말해 아까 설명한 보이지 않는 부분의 워크플로우가 업데이트가 되어버리면,
워크플로우에 숨어있는 기본적인 옵션이나 함수 등이 변경이 되는 등의 내부 구조가 변경되면서,
기존에 사용하던 각 기능에 맞추어 개발된 extension이나, scripts가 호환이 되지 않아 작동되지 않을 수 있습니다.
이럴 경우에는 관련된 제작자가 업데이트 해주기 전까지는 사용 할 수 없는 불편함이 생겨버리는 단점이 있습니다.
comfy UI는 A111과는 반대로 처음의 진입장벽이 좀 높지만, 세부적인 부분 하나하나 조정할 수 있다는 장점이 있습니다.  
 
A111과 Comfy UI의 차이점을  더 쉽게 이해 할 수 있도록 챗GPT에게 인터페이스, 초보자 접근성 등의 관점에서 비교해달라고 했습니다.

2-1. 사용자 인터페이스 (UI)의 차이

• AUTOMATIC1111 (A111):
  • A111은 텍스트 기반 프롬프트 입력에 중점을 둔 인터페이스를 가지고 있습니다. 사용자는 주로 원하는 이미지를 설명하는 문장을 입력하고, 몇 가지 설정값을 조정한 후 이미지를 생성하는 방식입니다.
  • 즉, 사용자가 프롬프트를 입력하고 클릭 몇 번으로 이미지를 생성할 수 있어, 간단하고 직관적인 사용이 가능합니다.
  • 인터페이스는 고정적이며, 이미지 생성 과정의 세부 사항을 직접 제어하기 어렵습니다. 주로 텍스트 프롬프트와 함께 사전 설정된 옵션들을 사용해 결과를 얻습니다.
• ComfyUI:
  • ComfyUI는 노드 기반 인터페이스를 제공합니다. 사용자들은 각 기능을 담당하는 노드(예: 모델 불러오기, 텍스트 프롬프트 입력, 이미지 출력 등)를 직접 연결하여 이미지를 생성할 수 있습니다.
  • 이 방식은 시각적이며, 사용자가 이미지 생성의 모든 단계를 더 세밀하게 제어할 수 있게 합니다. 예를 들어, 이미지를 생성하는 동안 텍스트를 변형하거나 다양한 필터를 적용하는 등, 프롬프트 외의 요소들까지도 사용자가 직접 수정할 수 있습니다.
  • 초보자에게는 처음에 다소 복잡하게 느껴질 수 있지만, 시각적이고 유연한 작업 흐름을 제공하여 이미지 생성 과정을 직관적으로 이해할 수 있게 도와줍니다.

2-2. 작업 흐름의 차이 (워크플로우)

• A111:
  • A111에서는 프롬프트를 입력하고, 그에 맞는 이미지를 생성하는 방식으로 작업이 진행됩니다. 대부분의 프로세스가 자동화되어 있어 빠르고 쉽게 결과를 얻을 수 있지만, 세부적인 조정은 한계가 있습니다.
  • 한 번에 여러 이미지 생성 시 프롬프트만 변경하거나 설정값을 바꾸는 정도로 반복적인 작업을 해야 하며, 작업 흐름이 단순합니다.
• ComfyUI:
  • ComfyUI는 노드를 연결해  사용자가 원하는 작업 흐름(Workflow), 즉 워크플로우를 직접 설계할 수 있습니다. 예를 들어, 모델 선택, VAE(Variational AutoEncoder) 적용, 업스케일링, 노이즈 제어 등의 세부적인 작업을 모두 사용자가 원하는대로 조정할 수 있습니다. 
  • 여러 작업을 동시에 구성하거나, 각각의 작업을 세부적으로 조정할 수 있는 유연성이 뛰어납니다. 따라서 복잡한 이미지 생성 파이프라인을 구성하는 데 매우 유용합니다.
  • 특히 작업의 재사용성이 높습니다. 한 번 설정한 워크플로우를 저장해 다른 이미지 생성 작업에 재사용할 수 있어, 복잡한 작업을 반복할 필요가 없습니다.

2-3. 확장성과 커스터마이징

• A111:
  • A111은 프롬프트 중심의 작업에 최적화되어 있어 간단하게 사용할 수 있지만, 기본 제공되는 기능 외에 복잡한 커스터마이징은 제한적입니다. 추가적인 확장은 주로 스마트 프롬프트나 스크립트를 통해 이루어집니다.
  • 다양한 프리셋이나 옵션을 통해 비교적 쉽게 이미지를 생성할 수 있지만, 이외의 세부적인 컨트롤은 제한적입니다.
• ComfyUI:
  • ComfyUI는 완전히 모듈화된 시스템이기 때문에, 사용자가 필요한 기능을 노드로 추가하고 직접 연결할 수 있습니다. 이로 인해 A111보다 확장성이 훨씬 뛰어납니다.
  • 예를 들어, 커스텀 노드를 만들어 새로운 기능을 추가하거나, Stable Diffusion 모델을 불러오는 방식과 이미지를 생성하는 과정을 세부적으로 조정할 수 있습니다.
  • 이 시스템은 사용자에게 더 큰 자유를 주며, 자신만의 이미지 생성 파이프라인을 만들어 커스터마이징할 수 있습니다.

2-4. 초보자 접근성

• A111:
  • A111은 기본적으로 초보자에게 친숙한 인터페이스를 제공합니다. 설치가 간편하고, 텍스트 프롬프트만으로 이미지를 생성할 수 있어 복잡한 설정 없이 바로 사용 가능합니다.
  • 빠른 결과를 얻고 싶을 때, 또는 프롬프트만으로 AI 이미지 생성 작업을 하고자 할 때 적합합니다.
• ComfyUI:
  • ComfyUI는 초보자에게 처음에는 조금 더 복잡하게 느껴질 수 있습니다. 노드를 직접 구성하고 연결하는 과정이 필요하기 때문입니다. 하지만, 한 번 익히면 훨씬 더 세밀한 작업을 할 수 있어 AI 이미지 생성 과정의 학습 도구로 적합합니다.
  • 또한 작업 흐름을 시각적으로 이해하기 쉽기 때문에, Stable Diffusion의 작동 원리를 더 깊이 이해하고 싶은 사용자에게 유용합니다.

2-5. 사용 목적의 차이

• A111:
  • 빠른 이미지 생성이 목표일 경우, A111이 적합합니다. 직관적이고 간단한 설정을 통해 빠르게 원하는 이미지를 생성할 수 있기 때문에, 반복적인 작업에 효율적입니다.
• ComfyUI:
  • 세밀한 제어와 복잡한 워크플로우가 필요한 경우, ComfyUI가 더 좋은 선택입니다. 다양한 노드를 사용해 자신만의 이미지를 만들 수 있으며, 이미지 생성 과정의 세부 사항을 직접 조정할 수 있습니다.

답변이 훌륭하네요. 만족스럽습니다. 
 
저는 comfy UI를 공부하는 중이라 A111은 별로 만져보지 못했는데,
가볍게 이미지를 만들어보고 싶으시다면 A111을 한번 사용해보시는 것을 추천합니다.
 
다음 포스팅에서는 Comfy UI에서 중요한 개념인, 모듈화에 대해서 알아보도록 하겠습니다.