README.md

🌤️미세먼지 없는 맑은 사진📷

👉 Presentation Slide : https://drive.google.com/drive/folders/1_bYN3mC4viJHQI5G_y1e7f1iK3_IRDwW?usp=sharing

💁TEAM

CV 17조 MG세대

민선아	백경륜	이도연	임동우	이효석
@seonahmin	@baekkr95	@omocomo	@Dongwoo-Im	@hyoseok1223
Image Dehazing	Product Serving	Product Serving	Image Dehazing	PM, Sky Replacement

📃 Project Abstract

• Problem Definition

  • 특별한 날, 특별한 장소에서 미세먼지 때문에 원하는 사진을 찍지 못하거나 안 찍는 상황이 생김
  • 하지만 보정에 대한 전문 지식이 부족하거나 필터가 제한되는 경우 사용자가 원하는 방향으로 사진을 보정하기 어려웠음

• Main features

  • 사용자가 업로드한 Hazy한 이미지를 미세먼지가 없는 선명한 사진으로 변환
  • 사용자는 원하는 Keyword의 하늘 이미지를 업로드한 사진에 합성

🖥 Service Architecture

🎞 Demo

0. Dependencies and Installation

   • environment.yaml의 name, prefix 설정

   • 가상환경 생성 및 install

     cd serving
     conda env create -f environment.yaml # 가상환경 생성 + install
     conda activate serving # environment.yaml의 name
     pip install mmcv-full -f https://download.openmmlab.com/mmcv/dist/cu110/torch1.7/index.html
     

1. 모델 Weights 다운로드

   • serving/app 안에 weights 폴더를 만듭니다. 구조는 다음과 같습니다.

     weights
     ├── Dehazing
     │   └── Dehazeformer-Finetune.pth
     └── Sky
         ├── SkyDB
         │   └── sky_db_clip.h5
         └── SkySegmentation
             └── seg_epoch_20.pth

   • weights는 구글 드라이브에서 다운로드 받을 수 있습니다.

2. DB URL 설정

   • serving/app/db/__init__.py의 MONGO_URL 설정

3. 실행 시키기

   cd serving
   make -j 2 run_app
   

   • Makefile run_client의 streamlit이 실행되면 해당 url에서 동작을 확인할 수 있습니다.

4. 데모 영상

이미지 업로드 후 Dehazing 실행

원하는 하늘 사진 선택

하늘 합성까지 완료된 최종 이미지

🖼 Model Process

📖 Reference

• Image Dehazing

  • PSD : https://github.com/zychen-ustc/PSD-Principled-Synthetic-to-Real-Dehazing-Guided-by-Physical-Priors
  • DehazeFormer : https://github.com/IDKiro/DehazeFormer
  • AECR-Net : https://github.com/GlassyWu/AECR-Net
  • IQA-Pytorch : https://github.com/chaofengc/IQA-PyTorch

• Sky Replacement

  • SegFormer : https://github.com/NVlabs/SegFormer
  • Sky Is Not the Limit Paper : https://sites.google.com/site/yihsuantsai/research/siggraph16-sky
  • Sky Segmentation Reference Repo : https://github.com/OwYeong/SkySegmentationPython
  • Sky optimization : https://github.com/google/sky-optimization

• DataSet

  • RESIDE : https://sites.google.com/view/reside-dehaze-datasets/reside-standard?authuser=0
  • MRFID : http://www.vistalab.ac.cn/MRFID-for-defogging/
  • BeDDE : https://github.com/xiaofeng94/BeDDE-for-defogging
  • Optimized Sky Dataset- ADE 20k : https://console.cloud.google.com/storage/browser/cvprw2020_sky_seg/public_data/
  • Sky Image Dataset : https://www.google.com/url?q=http%3A%2F%2Fvllab.ucmerced.edu%2Fytsai%2FSIGGRAPH16%2Fdatabase.zip&sa=D&sntz=1&usg=AOvVaw2zmA3AdJafXUARCFddv1pM