Mata Kuliah • Data Warehouse
Catatan mengenai metodologi desain dan arsitektur data warehouse hngga sistem basis data analitik besar.
Fungsi agregasi pada SQL digunakan untuk mengolah data menjadi ringkasan informasi. Fungsi utama yang sering digunakan yaitu `SUM`, `COUNT`, `AVG`, `MIN`, dan `MAX`. Pada database dengan beberapa tabel, fungsi agregasi biasanya digabung dengan `JOIN` untuk menghubungkan tabel dan `GROUP BY` untuk mengelompokkan data berdasarkan kategori tertentu.
Desain logikal database dimulai dengan memahami proses bisnis berdasarkan kebutuhan end-user, dimodelkan menggunakan ERM. Ada dua schema utama: **Star Schema** yang sederhana dan query-nya cepat namun boros storage karena denormalisasi, dan Snowflake Schema yang hemat storage karena dinormalisasi hingga 3NF namun query-nya lebih lambat. Dalam praktiknya, Fact Table hanya boleh berisi Foreign Key, tabel dimensi dibuat lebih dulu sebelum Fact Table, dan tipe data harus disesuaikan dengan kebutuhan nyata — pilihan schema pun dikonsultasikan dengan user berdasarkan kondisi storage dan kebutuhan jangka panjang mereka.
⭐ Star Schema adalah model data dengan tabel dimensi yang digabung (denormalized) sehingga query jadi lebih cepat dan sederhana, tetapi cenderung boros storage karena ada redundansi data, sedangkan ❄️ Snowflake Schema memecah tabel dimensi (normalized) agar lebih hemat penyimpanan dan menjaga integritas data, namun membuat query lebih kompleks dan biasanya lebih lambat karena membutuhkan lebih banyak join.
ETL adalah proses wajib pembentukan Data Warehouse yang terdiri dari tiga tahap: Extract (mengambil data dari berbagai sumber), Transform (membersihkan dan mengubah format data), dan Load (memasukkan data ke target akhir). Prosesnya bisa dijalankan secara terjadwal (Periodik ETL) atau langsung saat data berubah (Real-Time ETL menggunakan CDC).
Data Warehouse adalah database besar berisi data historis yang didenormalisasi untuk keperluan analisis (OLAP), berbeda dengan database biasa yang fokus pada transaksi harian (OLTP). Data dari berbagai sumber dikumpulkan dan dibersihkan lewat proses ETL, lalu disimpan dalam format dimensi (DDS) yang siap dianalisis. Teknologi ini menjadi fondasi utama Business Intelligence, Data Mining, dan CRM di organisasi besar.