ETL adalah singkatan dari Extract, Transform, Load, yaitu proses yang digunakan untuk mengumpulkan data dari berbagai sumber, mengubahnya menjadi format yang sesuai, dan menyimpannya ke dalam sistem penyimpanan target seperti data warehouse atau database. ETL merupakan salah satu komponen utama dalam data engineering dan sering digunakan dalam manajemen data skala besar untuk analisis bisnis dan pelaporan.
-
Ekstrak
Pengambilan data dari berbagai sumber (misal mongodb, file, cloud, aplikasi, spreadsheet, dll) -
Transform
Mengubah format data ke bentuk yang lain dengan cara seperti menggabungkan, menghapus, standarisasi, normalisasi, memperbaiki inkonsistensi data -
Load
Menyimpan data hasil transformasi ke suatu tempat baru (misal ke postgre SQL)
-
Integrasi Data
Perlu menggabungkan data yang biasanya tersebar di berbagai sistem seperti sql, mongodb, file, cloud, aplikasi, atau spreadsheet. -
Membersihkan dan Memvalidasi Data
Data mentah seringkali memiliki kesalahan, inkonsistensi, atau kekurangan format yang jelas. -
Menyediakan Data yang Konsisten untuk Analisis
Data dari berbagai sumber diubah menjadi format yang seragam -
Mengotomatisasi Alur Data
Memperbarui data mereka secara berkala tanpa intervensi manual -
Mempercepat Pengambilan Keputusan
Data yang telah melalui proses ETL menjadi lebih mudah dipahami dan diolah -
Mendukung Skala Besar dalam Pengolahan Data
Perusahaan dapat mengelola dan menganalisis data dalam jumlah besar (big data) dengan lebih efektif