생성 모델의 발전 과정과 이상탐지 분야에서의 활용

by

생성 모델(Generative Model)은 데이터의 확률 분포를 학습하여 새로운 데이터를 생성하는 모델입니다. 생성형 AI의 핵심 기술로 주목받고 있으며, 이미지 생성뿐만 아니라 이상탐지(Anomaly Detection), 데이터 증강(Data Augmentation) 등 다양한 산업 분야에서 활용되고 있습니다. AI 도입이 기업 전반으로 확대되면서 생성 모델의 활용 범위 역시 지속적으로 넓어지고 있습니다. 

본 글에서는 생성 모델이 어떤 한계를 해결하며 발전해 왔는지 살펴보고, 제조업 이상탐지 분야에서의 활용 가능성을 소개합니다.

1. 확률 분포 모델링과 최대우도추정(MLE)

생성 모델의 궁극적인 목표는 데이터가 생성되는 확률 분포를 학습하는 것입니다.

가장 기본적인 접근 방식은 확률 분포를 가정한 후 데이터를 가장 잘 설명하는 파라미터를 찾는 최대우도추정(Maximum Likelihood Estimation, MLE)입니다. MLE는 관측된 데이터가 가장 높은 확률로 나타나도록 모델의 파라미터를 추정하는 방법입니다.

예를 들어, 데이터가 정규분포를 따른다고 가정하면 평균과 분산을 추정하여 전체 데이터 분포를 모델링할 수 있습니다.

장점

  • 통계적으로 해석이 명확하다.
  • 다양한 확률 모델의 기반이 된다.
  • 학습 목표가 수학적으로 명확하다.

한계

  • 실제 데이터는 매우 복잡한 고차원 분포를 가진다.
  • 이미지와 같은 데이터는 확률 분포를 직접 표현하기 어렵다.
  • 분포 가정이 맞지 않으면 성능이 크게 저하된다.

이러한 한계로 인해 데이터를 더 효율적으로 표현하기 위한 차원 축소 기법이 발전하게 되었습니다.

2. PCA와 AutoEncoder

PCA (Principal Component Analysis)

PCA는 데이터를 가장 잘 설명하는 방향을 찾고, 그 방향으로 데이터를 투영하여 차원을 축소하는 대표적인 선형 차원 축소 기법입니다.
데이터의 분산을 최대한 보존하면서 저차원 공간으로 압축합니다.

AutoEncoder (AE)

AutoEncoder는 입력 데이터를 압축하는 Encoder와 복원하는 Decoder로 구성됩니다.

PCA와 마찬가지로 재구성 오차(Reconstruction Error)를 최소화하도록 학습하지만, 신경망의 비선형 활성화 함수를 사용하기 때문에 훨씬 복잡한 데이터 구조를 학습할 수 있습니다.

PCA와 AE의 차이

PCAAutoEncoder
선형 변환비선형 변환
하나의 투영 행렬 사용다층 신경망 사용
표현력이 제한적복잡한 패턴 학습 가능
상대적으로 단순높은 표현력

실제 이미지 데이터는 매우 복잡한 비선형 구조를 가지므로 대부분의 경우 AutoEncoder가 PCA보다 우수한 복원 성능을 보입니다.

하지만 AE 역시 생성 모델로 사용하기에는 다음과 같은 한계가 존재합니다.

3. Variational AutoEncoder (VAE)

AutoEncoder는 입력 이미지를 압축하고 복원하는 데는 뛰어나지만 새로운 이미지를 생성하는 능력은 부족합니다.

그 이유는 잠재 공간(Latent Space)의 구조에 있습니다.

예를 들어 숫자 ‘3’ 이미지를 입력하면 Encoder는 이를 몇 개의 숫자로 압축합니다. 이 압축된 숫자 벡터를 Latent Vector라고 하며, 이러한 벡터들이 존재하는 공간을 Latent Space라고 합니다.

AE의 잠재 공간

AE는 단순히 복원이 잘 되도록 학습하기 때문에 Latent Vector들이 공간 내에 불규칙하게 흩어질 수 있습니다. 즉, 특정 확률 분포를 따르도록 강제되지 않습니다.
따라서 Latent Space에서 임의의 점을 선택해 Decoder에 입력하면 학습 시 보지 못했던 영역일 가능성이 높고, 결과적으로 의미 없는 이미지가 생성될 수 있습니다.

VAE의 아이디어

VAE는 Latent Space가 특정 확률 분포를 따르도록 만들자는 아이디어에서 출발합니다. 일반적으로 평균이 0이고 분산이 1인 정규분포 N(0,1)를 사용합니다.
Encoder는 하나의 Latent Vector 대신 평균(μ)과 분산(σ²)을 출력합니다. 이 값을 이용하여 확률 분포를 정의하고, 해당 분포에서 샘플링한 값을 Latent Vector로 사용합니다.

또한 Reconstruction error 식에 KL Divergence를 추가하여 현재 잠재 분포가 정규분포와 유사해지도록 학습합니다.

VAE의 장점

  • 잠재 공간이 연속적으로 구성된다.
  • 임의의 Latent Vector를 샘플링해도 자연스러운 이미지 생성이 가능하다.
  • 새로운 데이터 생성 능력이 향상된다.

다만 VAE는 생성 능력은 향상되었지만 이미지가 다소 흐릿하게 생성되는 문제가 존재했습니다.

이러한 한계를 극복하기 위해 등장한 모델이 Diffusion Model입니다.

4. Diffusion Model

생성형 AI의 핵심 기술로 주목받고 있는 모델이 Diffusion Model입니다.

대표적으로 DDPM, Stable Diffusion, Imagen, 그리고 DALL·E 계열 모델 등이 diffusion 기반 생성 모델에 속합니다.
DDPM은 데이터에 점진적으로 노이즈를 추가하는 과정과 이를 제거하는 과정을 학습합니다.

이때, ϵ0(xt,t)ϵ_0 (x_t,t)는 t 시점의 노이즈가 추가된 이미지 를 입력으로 받아, 노이즈 을 예측하는 신경망을 의미합니다.

Forward Process

각 timestep에서 βₜ를 이용하여 원본 이미지에 Gaussian noise를 점진적으로 추가하는 과정입니다. 이때, βₜ는 noise의 크기를 조절하는 하이퍼파라미터입니다.

Reverse Process

모델이 각 timestep에서 noise 성분 ϵθ(xt,t)ϵ_θ (x_t,t)를 예측하여 이를 제거함으로써 점진적으로 원본 이미지로 복원하는 과정입니다.

이때, αtα_t는 signal 유지 비율, ▁αt▁α_t는 누적 signal 유지량을 의미하며, σtzσ_t z는 생성 과정의 다양성을 위한 Gaussian noise를 나타냅니다.

장점

  • 매우 높은 이미지 품질
  • 복잡한 데이터 분포 학습 가능
  • 다양한 생성 작업 적용 가능

단점

  • 학습 비용이 크다.
  • 추론 속도가 느리다.
  • 수십~수백 번의 반복 복원이 필요하다.

기존 CNN 기반 모델은 이미지를 한 번만 통과시켜 특징을 추출하지만, Diffusion은 반복적인 노이즈 제거 과정을 수행하기 때문에 계산량이 훨씬 큽니다.

5. 이상탐지 분야에서의 활용

Diffusion Model은 이상탐지 분야에서도 활발히 연구되고 있습니다.
대표적인 접근 방식은 정상 데이터만을 활용하여 정상 데이터의 분포를 학습한 뒤, 입력 이미지가 해당 정상 분포에서 얼마나 벗어나는지를 기반으로 이상 영역을 검출하는 방식입니다.

특히, 생성 기반 이상탐지에서는 정상 이미지의 생성 또는 복원을 수행하고, 입력 이미지와 생성 결과 간의 차이를 이상 점수(anomaly score)로 활용하는 reconstruction 기반 방법이 연구되어 왔습니다. 이때, 두 이미지 간의 복원 오차가 클수록 해당 영역이 정상 데이터 분포와 다를 가능성이 높다고 판단합니다.

이러한 흐름에서 Denoising Diffusion Anomaly Detection (DDAD)은 conditioned denoising diffusion model을 기반으로 정상 데이터의 특징을 학습하고, diffusion 과정에서 얻어진 생성 및 복원 정보를 활용하여 이상을 탐지하는 대표적인 diffusion 기반 이상탐지 방법 중 하나입니다. 

DDAD는 기존 생성 모델 기반 접근을 diffusion model로 확장한 연구로, 이후 diffusion 기반 anomaly detection 연구의 중요한 사례로 활용되고 있습니다.

Diffusion Model은 이상탐지뿐만 아니라 제조 데이터 부족 문제를 해결하기 위한 데이터 증강 분야에서도 활용되고 있습니다.
제조 현장에서는 다양한 불량 유형에 대한 데이터를 충분히 확보하기 어려운 경우가 많기 때문에, Diffusion Model을 활용하여 실제와 유사한 불량 이미지를 생성하고 이를 학습 데이터 확장에 활용하는 연구가 진행되고 있습니다. 

이를 통해 기존 데이터에서 부족했던 다양한 이상 패턴을 인위적으로 생성하여 이상탐지 모델의 일반화 성능 향상을 기대할 수 있습니다.

그러나 제조업 환경에서는 실시간 검사가 중요한 요구사항으로 작용하기 때문에, 높은 계산 비용과 긴 추론 시간을 요구하는 Diffusion 기반 방법은 실제 배포 과정에서 한계를 가질 수 있습니다. 이러한 이유로 산업 현장에서는 빠른 추론이 가능한 경량 이상탐지 모델에 대한 연구와 적용이 활발히 이루어지고 있습니다.

대표적으로 PatchCore 및 EfficientAD와 같은 방법은 사전 학습된 특징 추출기 또는 경량화된 네트워크를 기반으로 단일 forward pass 내에서 이상 여부를 판단할 수 있어, 실시간 검사가 요구되는 제조 환경에 적합한 접근 방식으로 평가되고 있습니다.

6. 앞으로의 연구 동향

Diffusion Model은 뛰어난 생성 성능을 보여주고 있지만, 추론 속도와 연산 비용 문제는 여전히 해결해야 할 과제입니다.
최근 연구는 다음과 같은 방향으로 진행되고 있습니다.

  • Diffusion의 추론 속도를 줄이기 위한 가속화 기법 (예: sampling step 축소 및 ODE 기반 샘플링)
  • Latent Diffusion 기반 경량화 모델
  • Diffusion과 Transformer 구조의 결합
  • 생성 모델 기반 이상탐지 방법의 활용
  • 적은 데이터에서도 학습 가능한 Few-shot Anomaly Detection

특히 제조업에서는 높은 생성 품질뿐만 아니라 빠른 추론 속도와 안정성이 중요하기 때문에, 향후에는 Diffusion의 생성 능력과 이상탐지 분야의 실용적 접근을 결합한 하이브리드 방법이 유망할 것으로 기대됩니다.

7. 참고 문헌

  • Ho, J. et al. (2020). Denoising Diffusion Probabilistic Models.
  • Song, J., Meng, C., Ermon, S. (2021). Denoising Diffusion Implicit Models.
  • Mousakhan, A., Brox, T., & Tayyub, J. (2023). Anomaly Detection with Conditioned Denoising Diffusion Models. 
  • Kingma, D. P., & Welling, M. (2013). Auto-Encoding Variational Bayes.
  • Hotelling, H. (1933). Analysis of a complex of statistical variables into principal components.
  • Gong, D. et al. (2019). Memorizing Normality to Detect Anomaly (MemAE).
  • Lu, C., et al. (2022). DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps. NeurIPS. 
  • Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR. 
  • Peebles, W., & Xie, S. (2023). Scalable Diffusion Models with Transformers (DiT). ICCV. 
  • Liu, J., et al. (2025). A Survey on Diffusion Models for Anomaly Detection. arXiv:2501.11430. 
  • Hu, T., et al. (2024). AnomalyDiffusion: Few-Shot Anomaly Image Generation with Diffusion Model. AAAI.