banner large

3 must-have untuk operasi data yang efektif

Comment
X
Share

Kami sangat antusias untuk menghadirkan Transform 2022 kembali secara langsung pada 19 Juli dan 20 – 28 Juli secara virtual. Bergabunglah dengan AI dan pemimpin data untuk pembicaraan yang berwawasan luas dan peluang jaringan yang menarik. Daftar hari ini!


Data bisa menjadi aset perusahaan yang paling berharga — bahkan bisa lebih berharga daripada perusahaan itu sendiri. Tetapi jika data tidak akurat atau terus-menerus tertunda karena masalah pengiriman, bisnis tidak dapat memanfaatkannya dengan baik untuk membuat keputusan yang tepat.

Memiliki pemahaman yang kuat tentang aset data perusahaan tidaklah mudah. Lingkungan berubah dan menjadi semakin kompleks. Melacak asal set data, menganalisis dependensinya, dan memperbarui dokumentasi adalah tanggung jawab yang membutuhkan banyak sumber daya.

Di sinilah operasi data (dataops) masuk. Dataops — jangan bingung dengan sepupunya, devops — dimulai sebagai serangkaian praktik terbaik untuk analitik data. Seiring waktu, itu berkembang menjadi praktik yang sepenuhnya terbentuk dengan sendirinya. Inilah janjinya: Dataops membantu mempercepat siklus hidup data, mulai dari pengembangan aplikasi yang berpusat pada data hingga memberikan informasi penting bisnis yang akurat kepada pengguna akhir dan pelanggan.

Dataops muncul karena ada inefisiensi dalam data estate di sebagian besar perusahaan. Berbagai silo TI tidak berkomunikasi secara efektif (jika mereka berkomunikasi sama sekali). Alat yang dibuat untuk satu tim — yang menggunakan data untuk tugas tertentu — sering kali membuat tim yang berbeda tidak mendapatkan visibilitas. Integrasi sumber data dilakukan secara serampangan, manual dan seringkali bermasalah. Hasil yang menyedihkan: Kualitas dan nilai informasi yang disampaikan kepada pengguna akhir berada di bawah ekspektasi atau benar-benar tidak akurat.

Sementara dataops menawarkan solusi, mereka yang berada di C-suite mungkin khawatir itu bisa menjadi janji yang tinggi dan nilai yang rendah. Ini bisa tampak seperti risiko untuk mengganggu proses yang sudah ada. Apakah manfaatnya lebih besar daripada ketidaknyamanan dalam mendefinisikan, menerapkan, dan mengadopsi proses baru? Dalam debat organisasi saya sendiri tentang topik tersebut, saya sering mengutip dan merujuk pada Aturan Sepuluh. Biayanya sepuluh kali lipat untuk menyelesaikan pekerjaan ketika datanya cacat daripada ketika informasinya bagus. Menggunakan argumen itu, dataops sangat penting dan sepadan dengan usaha.

Anda mungkin sudah menggunakan dataops, tetapi tidak mengetahuinya

Secara umum, dataops meningkatkan komunikasi di antara para pemangku kepentingan data. Ini menyingkirkan perusahaan dari silo datanya yang sedang berkembang. dataops bukanlah sesuatu yang baru. Banyak perusahaan tangkas sudah mempraktikkan konstruksi dataops, tetapi mereka mungkin tidak menggunakan istilah tersebut atau menyadarinya.

Dataops dapat menjadi transformatif, tetapi seperti kerangka kerja hebat lainnya, mencapai kesuksesan memerlukan beberapa aturan dasar. Berikut adalah tiga besar dunia nyata yang harus dimiliki untuk operasi data yang efektif.

1. Berkomitmen pada observabilitas dalam proses dataops

Observabilitas adalah dasar untuk seluruh proses dataops. Ini memberi perusahaan pandangan menyeluruh tentang integrasi berkelanjutan dan pipa pengiriman berkelanjutan (CI/CD). Tanpa observability, perusahaan Anda tidak dapat dengan aman mengotomatisasi atau menggunakan pengiriman berkelanjutan.

Dalam lingkungan pengembang yang terampil, sistem observabilitas memberikan tampilan holistik itu — dan tampilan itu harus dapat diakses di seluruh departemen dan dimasukkan ke dalam alur kerja CI/CD tersebut. Saat Anda berkomitmen pada observabilitas, Anda memposisikannya di sebelah kiri jalur data Anda — memantau dan menyetel sistem komunikasi Anda sebelum data memasuki produksi. Anda harus memulai proses ini ketika merancang database Anda dan mengamati sistem nonproduksi Anda, bersama dengan konsumen yang berbeda dari data tersebut. Dengan melakukan ini, Anda dapat melihat seberapa baik aplikasi berinteraksi dengan data Anda — sebelum database pindah ke produkpada.

Alat pemantauan dapat membantu Anda mendapatkan lebih banyak informasi dan melakukan lebih banyak diagnostik. Pada gilirannya, rekomendasi pemecahan masalah Anda akan meningkatkan dan membantu memperbaiki kesalahan sebelum menjadi masalah. Pemantauan memberikan konteks pro data. Tapi ingat untuk mematuhi “Sumpah Hipokrates” Pemantauan: Pertama, jangan membahayakan.

Jika pemantauan Anda menghasilkan begitu banyak overhead sehingga kinerja Anda berkurang, Anda telah melewati batas. Pastikan overhead Anda rendah, terutama saat menambahkan observabilitas. Ketika pemantauan data dipandang sebagai dasar observabilitas, pro data dapat memastikan operasi berjalan seperti yang diharapkan.

2. Petakan data estate Anda

Anda harus mengetahui skema dan data Anda. Ini adalah dasar untuk proses dataops.

Pertama, dokumentasikan keseluruhan data Anda untuk memahami perubahan dan dampaknya. Saat skema database berubah, Anda perlu mengukur efeknya pada aplikasi dan database lainnya. Analisis dampak ini hanya mungkin jika Anda tahu dari mana data Anda berasal dan ke mana arahnya.

Di luar skema database dan perubahan kode, Anda harus mengontrol privasi dan kepatuhan data dengan tampilan penuh garis keturunan data. Beri tag lokasi dan jenis data, terutama informasi pengenal pribadi (PII) — ketahui di mana semua data Anda berada dan ke mana pun ia pergi. Di mana informasi sensitif disimpan? Aplikasi dan laporan lain apa yang mengalirkan data tersebut? Siapa yang dapat mengaksesnya di setiap sistem tersebut?

3. Mengotomatiskan pengujian data

Adopsi devops secara luas telah membawa budaya umum pengujian unit untuk kode dan aplikasi. Yang sering diabaikan adalah pengujian data itu sendiri, kualitasnya dan cara kerjanya (atau tidak) dengan kode dan aplikasi. Pengujian data yang efektif membutuhkan otomatisasi. Ini juga membutuhkan pengujian konstan dengan data terbaru Anda. Data baru tidak dicoba dan benar, itu mudah berubah.

Untuk memastikan Anda memiliki sistem paling stabil yang tersedia, uji menggunakan data paling mudah berubah yang Anda miliki. Pecahkan barang lebih awal. Jika tidak, Anda akan mendorong rutinitas dan proses yang tidak efisien ke dalam produksi dan Anda akan mendapatkan kejutan yang tidak menyenangkan dalam hal biaya.

Produk yang Anda gunakan untuk menguji data itu — apakah itu pihak ketiga atau Anda sedang menulis skrip Anda sendiri — harus solid dan harus menjadi bagian dari proses pengujian dan pembuatan otomatis Anda. Saat data bergerak melalui saluran CI/CD, Anda harus melakukan pengujian kualitas, akses, dan kinerja. Singkatnya, Anda ingin memahami apa yang Anda miliki sebelum menggunakannya.

Dataops sangat penting untuk menjadi bisnis data. Ini adalah dasar dari transformasi data. Ketiga must-have ini akan memungkinkan Anda untuk mengetahui apa yang sudah Anda miliki dan apa yang Anda butuhkan untuk mencapai level berikutnya.

Douglas McDowell adalah manajer umum database di SolarWinds.

DataDecisionMakers

Selamat datang di komunitas VentureBeat!

DataDecisionMakers adalah tempat para ahli, termasuk orang teknis yang melakukan pekerjaan data, dapat berbagi wawasan dan inovasi terkait data.

Jika Anda ingin membaca tentang ide-ide mutakhir dan informasi terkini, praktik terbaik, dan masa depan data dan teknologi data, bergabunglah dengan kami di DataDecisionMakers.

Anda bahkan mungkin mempertimbangkan untuk menyumbangkan artikel Anda sendiri!

Baca Lebih Lanjut Dari DataDecisionMakers

Leave a Reply

Your email address will not be published.