Pertemuan 3 - ETL
ETL adalah proses wajib pembentukan Data Warehouse yang terdiri dari tiga tahap: Extract (mengambil data dari berbagai sumber), Transform (membersihkan dan mengubah format data), dan Load (memasukkan data ke target akhir). Prosesnya bisa dijalankan secara terjadwal (Periodik ETL) atau langsung saat data berubah (Real-Time ETL menggunakan CDC).
Isi Catatan
ETL (Extract, Transform, Load)
1. Pengertian Dasar
ETL (Extract, Transform, Load) adalah sekumpulan proses wajib dalam pembentukan Data Warehouse yang bertujuan mengumpulkan, menyaring, mengolah, dan menggabungkan data relevan dari berbagai sumber untuk disimpan ke Data Warehouse.
2. Tahapan Proses ETL
A. Extract (Ekstraksi)
Proses memilih, mengambil, dan memverifikasi data dari satu atau beberapa sumber dengan cara membaca sumber data dan membuat salinannya menggunakan query atau aplikasi ETL. Sebelum mulai, pengguna wajib mendefinisikan kebutuhan sumber data terlebih dahulu.
Sumber data yang umum: basis data (DB2, MySQL, SQL Server), flat file (.xls, .csv, .txt), XML, layanan cloud, hingga aplikasi.
B. Transform (Transformasi)
Proses membersihkan dan mengubah data dari bentuk aslinya agar siap digunakan, meliputi:
- Memetakan data dari skema asli ke skema output.
- Konversi tipe atau format data.
- Pembersihan dan pembuangan data duplikat atau error.
C. Load (Pemuatan)
Proses memasukkan data yang sudah diolah ke target akhir (repository data, basis data, atau file) dengan menjalankan kode script pada aplikasi ETL. Hasil akhirnya wajib sesuai dengan analisis kebutuhan pengguna yang disepakati di awal.
Pratinjau Lampiran
Klik gambar atau PDF untuk membuka preview tanpa pindah halaman.