DW pertemuan 9 (Data Quality)

KUALITAS DATA

Menurut Mark Mosley (2008), dalam bukunya “Dictionary of Data Management”, pengertian kualitas data adalah level data yang menyatakan data tersebut akurat (accurate), lengkap (complete), timely (update), konsisten (consistent) sesuai dengan semua kebutuhan peraturan bisnis dan relevan.

Beberapa indikator data yang berkualitas antara lain sebagai berikut :

1. ACCURACY = data yang tersimpan nilainya benar (name cocok dengan alamatnya)
2. DOMAIN INTEGRITY = nilai attributnya sesuai batasan yang diperkenankan (nilai attribut laki n perempuan)
3. DATA TYPE = Nilai data disimpan dalam tipe data yang sesuai (data nama disimpan dengan tipe text)
4. CONSISTENCY = nilai sebuah field data akan sama semua dalam berbagai berkas (field produk A dgn kode 123, akan selalu sama kodenya di setiap berkas lain)
5. REDUDANCY = tidak boleh ada data yang sama disimpan di tempat yang berbeda dalam satu sistem
6. COMPLETENESS = Tidak ada nilai atttribut salah yang diberikan dalam sistem
7. DATA ANOMALY = sebuah field hanya digunakan sesuai kegunaannya. (field address3  digunakan untuk mencatat baris ketiga dalam alamat bukan untuk telp atau fax)
8. CLARITY = Kejelasan arti kegunaan dan cara penulisan sebuah data (penamaan khusus)
9. TIMELY = merepresentasikan waktu dari data yang dimasukkan (jika data digunakan perhari maka data pada warehaouse harus juga dibuat per hari)
10. USEFULNESS = setiap data harus benar digunakan oleh user
11. ADHERENCE TO DATA INTEGRITY RULES = taat pada aturan keterhubungan data

Manfaat dari meningkatnya kualitas data :

• Analysis with Timely Information
• Better Customer Service
• Newer Opportunities
• Reduced Costs and Risks
• Improved Productivity
• Reliable Strategic Decision Making

DW pertemuan 8 (ETL)

Extraction, Transformation, Loading)

ETL (Extraction, Transformation, Loading) adalah kumpulan dari proses dimana sumber data operational disiapkan untuk dimasukan kedalam data warehouse. Dimana  proses ini terdiri dari proses ekstraksi (extracting) data operational  dari sumber  applikasi, mengubah  bentuknya (transform), mengeluarkan (loading) dan membuat index dari data itu, menjamin kualitas dari data tersebut, dan menerbitkan data tersebut.

Ekstraksi Data (Extract)
Ekstraksi data adalah proses dimana data diambil atau diekstrak dari berbagai sistem operasional, baik menggunakan query, atau aplikasi ETL. Terdapat beberapa fungsi ekstraksi data, yaitu :

• Ekstraksi data secara otomatis dari aplikasi sumber.
• Penyaringan atau seleksi data hasil ekstraksi.
• Pengiriman data dari berbagai platform aplikasi ke sumber data.
• Perubahan format layout data dari format aslinya.
• Penyimpanan dalam file sementara untuk penggabungan dengan hasil ekstraksi dari sumber lain.

Transformasi Data (Transformation)
Transformasi adalah proses dimana data mentah (raw data) hasil ekstraksi disaring dan diubah sesuai dengan kaidah bisnis yang berlaku. Langkah-langkah dalam transformasi data adalah sebagai berikut:

• Memetakan data input dari skema data aslinya ke skema data warehouse.
• Melakukan konversi tipe data atau format data.
• Pembersihan serta pembuangan duplikasi dan kesalahan data.
• Penghitungan nilai-nilai derivat atau mula-mula.
• Penghitungan nilai-nilai agregat atau rangkuman.
• Pemerikasaan integritas referensi data.
• Pengisian nilai-nilai kosong dengan nilai default.
• Penggabungan data.

Pengisian Data (Loading)
Proses terakhir yang perlu dilakukan adalah proses pemuatan data yang didapatkan dari hasil transformasi ke dalam data warehouse. Cara untuk memuat data adalah dengan menjalankan SQL script secara periodik.