ETL (Extract, Transform, Load)

ETL adalah singkatan dari Extract, Transform, Load, yaitu proses yang digunakan untuk mengumpulkan data dari berbagai sumber, mengubahnya menjadi format yang sesuai, dan menyimpannya ke dalam sistem penyimpanan target seperti data warehouse atau database. ETL merupakan salah satu komponen utama dalam data engineering dan sering digunakan dalam manajemen data skala besar untuk analisis bisnis dan pelaporan.

Deskripsi

1. Ekstrak
   Pengambilan data dari berbagai sumber (misal mongodb, file, cloud, aplikasi, spreadsheet, dll)

2. Transform
   Mengubah format data ke bentuk yang lain dengan cara seperti menggabungkan, menghapus, standarisasi, normalisasi, memperbaiki inkonsistensi data

3. Load
   Menyimpan data hasil transformasi ke suatu tempat baru (misal ke postgre SQL)

Tujuan ETL

• Integrasi Data
  Perlu menggabungkan data yang biasanya tersebar di berbagai sistem seperti sql, mongodb, file, cloud, aplikasi, atau spreadsheet.

• Membersihkan dan Memvalidasi Data
  Data mentah seringkali memiliki kesalahan, inkonsistensi, atau kekurangan format yang jelas.

• Menyediakan Data yang Konsisten untuk Analisis
  Data dari berbagai sumber diubah menjadi format yang seragam

• Mengotomatisasi Alur Data
  Memperbarui data mereka secara berkala tanpa intervensi manual

• Mempercepat Pengambilan Keputusan
  Data yang telah melalui proses ETL menjadi lebih mudah dipahami dan diolah

• Mendukung Skala Besar dalam Pengolahan Data
  Perusahaan dapat mengelola dan menganalisis data dalam jumlah besar (big data) dengan lebih efektif

Reference

• https://github.com/arofiqimaulana/Course-Python-For-Data-Analysis/tree/762d8c9c29ec0d12251c0268bd85f3c6c0b3ae24
• https://github.com/arofiqimaulana/Data-Mining/tree/master/Data%20Preprocessing