Skip to content

yjyg1215/cp1

Repository files navigation

🥩외식 산업 예비 창업자를 위한 데이터 시각화 및 분석 프로그래밍🥩

✔️개요

기능

  1. 오늘의 뉴스 - 오늘 올라온 외식 산업 관련 뉴스를 한 페이지에 모아서 제공
  2. 정책 - 현재 시행되고 있는 정책들을 제공
  3. 분석 대시보드 - 신규 및 폐점, 업종별 매출

✔️개발 파이프라인

스크린샷 2023-02-09 오전 1 47 39

✔️데이터 스키마

스크린샷 2023-02-09 오전 1 56 00

✔️데이터 수집

  1. 뉴스 데이터 수집(웹 크롤링)

스크린샷 2023-02-09 오전 1 53 52

  • 식품저널 사이트의 뉴스 목록을 크롤링
  • 예외처리: 대표 이미지가 없는 뉴스가 존재할 수 있으므로 이미지 수집 시 에러가 발생하면 none을 저장하도록 함
  • MySQL 연동 후 당일 뉴스만 선별하여 로컬 데이터베이스에 적재
  • crontab을 이용하여 매일 9, 12, 15, 18, 21시에 수집을 하도록 스케줄링

image

  1. 정책 (Open API)

스크린샷 2023-02-09 오전 1 57 28

  • MySQL 연동 후 현재 시행중인 정책의 정보를 추출해 로컬 데이터베이스에 적재
  1. 신규 및 폐점 데이터 (csv파일)
  • MySQL 연동 후 신규 및 폐점 정보를 로컬 데이터베이스에 적재
  • 약 266만 row의 데이터
  1. 업종별 매출 데이터 (csv파일)
  • MySQL 연동 후 업종별 매출 정보를 로컬 데이터베이스에 적재

✔️서비스 시연

메인 페이지

스크린샷 2023-02-09 오전 2 01 08

→ 세 가지 메뉴를 클릭 할 수 있으며, 각 메뉴를 클릭 할 시 해당 페이지로 이동

오늘의 뉴스 페이지

스크린샷 2023-02-09 오전 2 03 06

→ DB의 News 테이블 데이터를 불러옴. 이미지, 제목, 줄거리를 클릭하면 해당 뉴스의 원문 페이지로 이동함.

정책 페이지

스크린샷 2023-02-09 오전 2 04 27

→ DB의 Policy 테이블 데이터를 불러옴. 토글을 클릭하면 해당하는 카테고리의 정책이 등장함. 정책 목록을 클릭하면 해당 정책 정보 페이지로 이동함.

분석 대시보드 페이지

스크린샷 2023-02-09 오전 2 05 57

→ DB의 store, sales 테이블 데이터를 불러옴. Plotly dash를 통해서 다음과 같은 분석 결과를 보여줌.

  • 신규 및 폐점 추이
  • 2022 업종별 신규 및 폐점 수
  • 2022 지역별 신규 및 폐점 수
  • 업종별 평균 매출액(분기 단위)
  • 업종별 평균 매출 건 수(분기 단위)

Python HTML VSCode MySQL Flask Crontab Selenium ETL Plotly Dash

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published