Copy and Paste

Anda bebas mengambil content blog ini, tapi mohon sebutkan alamat blog ini dalam tulisan Anda.

You are free to copy the content of my blog. However, please let your readers know my blog as your source.

Sabtu, 20 Januari 2018

Dan Linstedt, Data Vault, dan EDW di Kantor Kami

Saya kenal Dan Linstedt lewat dunia maya saja. Dalam pencarian pendekatan yang lebih efektif dalam mengembangkan sistem informasi, data warehouse khususnya, saya ga sengaja berkunjung ke situs tdan.com di mana Dan Linstedt menjadi salah satu penulisnya. Itu sekitar tahun 2008. 

Dia menulis mengenai Data Vault (sekarang sudah DV 2.0) yang diklaimnya mendapat pengakuan dari Bill Inmon, mbahnya data warehouse. Saya sudah kenal Bill Inmon terlebih dahulu yang bersama Claudia Imhoff memperkenalkan konsep data warehouse berupa Corporate Information Factory (CIF). Saya juga sudah kenal terlebih dahulu dengan Ralph Kimball yang pendekatannya kami gunakan dalam mengembangkan EDW di kantor dari 2002 sampai 2007. 

Dapat dikatakan pendekatan Kimball yg kami gunakan cukup berhasil. Kami ga perlu membuat model data top down ideal enterprise-wide untuk mengembangkan EDW. Jadinya bisa cepat menghasilkan. Murah tentu saja. Tapi dengan berjalannya waktu menjadi semakin sulit untuk menambahkan dan mengintegrasikan data baru ke EDW. Penyakitnya yang utama di antara beberapa hal lainnya adalah kesulitan memelihara tabel conform dimensions seiring dengan penambahan subyek area baru. Dan Linstedt menyebut penyakit ini dimensionitis


Sebenarnya sebelum ketemu konsep DV Dan Linstedt, saya menemukan DW 2.0 Bill Inmon terlebih dahulu. DW 2.0 dimaksudkan Inmon sebagai koreksi dari penyimpangan-penyimpangan istilah dalam perkembangan dunia data warehouse. Di 2008, saya minta Laksmi dan Ginanjar mempelajari keduanya: DW 2.0 dari Inmon dan DV (waktu itu sebut saja masih DV 1.0) dari Dan Linstedt.


Kebetulan sekitar tahun 2008 itu, saya tidak lagi in charge dalam pengembangan EDW di kantor. Saya waktu itu dipindah tugas ke QA dan PMO. Kami berusaha mendapatkan buy in terhadap DW 2.0 dan DV. Toh yang mengerjakan adalah kolega kami yang lain. Laksmi dan Ginanjar yang sudah mendapat sertifikasi DV modeling dari Linstedt langsung di Colorado, dengan saya sebagai promotornya, tentunya punya kewajiban moral agar investasi pengetahuan ini tidak sia-sia. 

Apa mau dikata, pembenahan EDW di kantor kami waktu itu tidak bergulir. Pengembangannya stagnan. Operasional EDW yang telah dibangun 2002-2007 terseok-seok. Sampai suatu hari, setelah serangkaian reorganisasi dan dinamika lainnya, tahun 2013 saya ditugaskan kembali menangani EDW di kantor kami. Beruntung divisi baru yang saya pimpin ini diperkuat oleh beberapa kolega lama yang pernah punya eksposur dalam pengembangan EDW sebelumnya, termasuk Laksmi dan Julia.

Saya juga merasa beruntung sekali dengan masuknya dua anak muda cerdas dan berbakat, yg ternyata dari satu sekolahan. Ahmal yang duluan masuk, 2013, kurang lebih berbarengan dengan masuknya saya ke divisi ‘lain sendiri’ itu. Disusul Yudha tahun 2014. Bersama Ahmal, saya berhasil melalui masa survival EDW paling sulit di 2013 dan 2014. Keberhasilan melalui masa paling sulit dengan kondisi morale paling rendah menjadi titik tolak bagi kami untuk menyongsong era baru. 

Selanjutnya, bersama Yudha dan Ahmal, kami berhasil menerapkan DV 2.0 hingga saat ini kami mampu mengembangkan EDW yg sangat modern dengan time to market yang luar biasa. Performance ETL/ELT? Itu juga luar biasa! Penambahan data 250 juta record bisa selesai beberapa jam saja, meskipun hanya dengan server database Oracle menengah. Rencananya mesin database akan kami ganti dengan yang high end, malah Yudha dan Ahmal sedang saya tugaskan untuk bersiap menerapkan DV 2.0 di atas Hadoop, sehingga EDW kami segera masuk ke skala “petabytes and beyond” dengan performance dan skalabilitas yang sangat memuaskan.

Sebenarnya kekuatan dari sisi teknis bukan segalanya, tetapi dalam pengembangan EDW yang ga pernah ada habisnya, kapasitas yang bagus dari sisi teknis merupakan key success factor. Kita dapat menghemat waktu menyelesaikan isu teknis dan dapat mengalokasikan lebih banyak waktu untuk ketemu user. User merasa puas dan yang paling penting “keep coming back” kepada kami. Tentu saja bukan tidak ada masalah sama sekali, tapi masalah dapat diselesaikan, dengan kolaborasi yang baik dan kadang dengan sedikit marah-marah, misalnya pas akhir 2017 kemarin (maaf ya gaes).

Rasa terima kasih tentunya harus juga saya tujukan ke kolega-kolega saya lainnya yang tidak bisa saya sebutkan satu per satu. Dari pihak eksternal, Pak Hasnur Ramadhan dengan tim yang luar biasa juga telah memberikan warna tersendiri dalam warisan kami di divisi yang sekarang ‘menceng dewe’ ini. Bagaimana kisah survival-revival kami mungkin perlu satu buku tersendiri - setidaknya satu artikel tersendiri - untuk menceritakannya. 

O God... I am very grateful for this wonderful experience. 

Selengkapnya.....

addthis

Live Traffic Feed