New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

feat: Airflow #36

Open

quasar529 opened this issue Feb 6, 2023 · 1 comment

Assignees

Labels

feat

Contributor

quasar529 commented Feb 6, 2023 •

edited

Loading

Description

유저 데이터를 사용한 재학습 파이프라인 구축 위해 airflow 구현

Details

현재까지 2가지 dag 구상 중
- 일정 주기마다 cloud storage 연결해서 데이터 다운로드 & Mongo DB에서 inference 데이터 다운로드 -> 데이터로 모델 학습
  - 이 때 고민이, 파일 모두 다운 받는 건 비효율적일 것 같아서, 기준 정해서 일정 기간 이후 데이터만 다운 받게 만들 수 없나 생각 중
- 일정 기간 지나면 cloud storage에 있는 데이터 삭제

Reference / Image

https://www.notion.so/AIRFLOW-d388aac344884a8ebde1007eae8f78b5

quasar529 added the feat label

quasar529 self-assigned this

quasar529 mentioned this issue

Feat airflow #40

Merged

Contributor Author

quasar529 commented Feb 8, 2023

Train DAG

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment