Style Transfer SOTA Models

By Sojeong Kim
Project

📢 Project Report Overview

📄 프로젝트 개요

  • 최신 Style Transfer 모델을 비교하고, MSCOCO 및 Effect 이미지를 활용한 인퍼런스 실험을 통해 모델의 성능을 분석
  • 비교 모델별 인퍼런스 코드를 통합 및 정리하여 일관된 실험 환경을 구축

View Project & Code.v1, View Project & Code.v2

📌 진행 현황

  1. ✅ Style Transfer 비교 모델 조사
  2. 🚀 인퍼런스 실험 진행
    • ✅ (완료) 실험 진행: MSCOCO 2014 이미지 인퍼런스 테스트
    • ✅ (완료) 비교 모델 5개 - 인퍼런스용 코드 정리
    • ✅ (완료) 비교 모델 2개 추가 - 인퍼런스용 코드 정리
    • ✅ (완료) 실험 진행: Effeect 이미지 인퍼런스 테스트
    • 🔥 (예정) 비교 모델 5개 더 추가
    • 🔥 (예정) 환경 구축: Docker 생성
    • 🔥 (예정) 실험 진행: Effeect 이미지 인퍼런스 전수 완료

🌟 Style Transfer 모델 리스트

모델명 학술대회/저널 연도
DreamStyler AAAI 2024
ArtBank AAAI 2024
Zero CVPR 2024
StyleID CVPR 2024
ProSpect SIGGRAPH Asia 2023
VCT ICCV 2023
RIVAL NeurIPS 2023
DiffuseIT ICLR 2023
InST CVPR 2023
StyTR2 CVPR 2022
IP-Adapter arXiv 2023

😎 인퍼런스 실험 수행 Guide

1. Dataset & Resources Download

  • dataset, resources: OneDrive ‘소정’ 폴더에서 다운로드
  • 아래 경로에 dataset, resources 업로드
./{git clone directory}/dataset

./{git clone directory}/resources

2. Conda 환경 생성

conda env create -f environment.yaml

conda activate ldm

Note: 모델별로 conda 환경이 달라야 되서 실행 안될 수도 있음, 추후 도커 환경 구축 예정

3. Inference 실행

python inference.py --model {model_name}

model_name: IP-Adapter, RIVAL, StyleID, StyTR2, VCT

4. Output 확인

아래 폴더에 stylized image 생성

./stylized_images/{model_name}/style_{style_name}/content_{content_name}/*.png

Comparison Results

comparison

  • Qualitative comparisons of state-of-the-art diffusion models with zoomed-in views of stylized images on the MS-COCO 2017 dataset with four types of reference images from Wikiart.

comparison2

  • Qualitative comparisons of state-of-the-art diffusion models on the FFHQ dataset with four types of reference images from Wikiart.

To do List

  • 🔥 (예정) 비교 모델 5개 더 추가
  • 🔥 (예정) 환경 구축: Docker 생성
  • 🔥 (예정) 실험 진행: Effeect 이미지 인퍼런스 전수 완료