banner large

Model hub-and-spoke: Sebuah alternatif untuk data mesh

Comment
X
Share

Kami sangat antusias untuk menghadirkan Transform 2022 kembali secara langsung pada 19 Juli dan 20 – 28 Juli secara virtual. Bergabunglah dengan AI dan pemimpin data untuk pembicaraan yang berwawasan luas dan peluang jaringan yang menarik. Daftar hari ini!


Data mesh adalah topik hangat di komunitas data dan analitik. Diperkenalkan pada tahun 2020 oleh Zhamak Dehghani dalam makalahnya “Data Mesh Principles and Logical Architecture”, data mesh adalah model terdistribusi baru untuk mengatur tim analitik untuk mengirimkan produk data dan dimaksudkan untuk mengatasi tantangan data terpusat dan terdesentralisasi. Tetapi apakah pendekatan ini benar-benar pendekatan terbaik untuk perusahaan saat ini?

Model organisasi untuk analitik

Selama bertahun-tahun, kami telah melihat model organisasi terpusat dan terdesentralisasi untuk memberikan analitik ke bisnis. Meskipun kedua model memiliki kelebihan, masing-masing memiliki beberapa kelemahan parah yang membuatnya tidak memadai untuk memenuhi kebutuhan konsumen yang haus data saat ini.

1. Model terpusat

Gudang data memungkinkan perusahaan untuk menyimpan data dalam satu lokasi yang dikuratori sehingga, secara teori, setiap orang dapat menemukan dan menanyakan data mereka dengan percaya diri. Dengan kontrol terpusat atas platform dan standar data, data dapat didefinisikan secara konsisten dan dikirimkan dengan andal.

Gambar 1: Model terpusat untuk manajemen data & analitik

Namun, dalam praktiknya, ada beberapa masalah besar dengan pendekatan ini. Pertama, data harus dikurasi dan dimuat dengan sangat hati-hati, sehingga hanya TI yang memiliki keterampilan yang diperlukan untuk membangun gudang data. Ini membuat TI menjadi hambatan untuk mengintegrasikan data baru. Kedua, karena tim TI biasanya tidak memahami bisnis, mereka berjuang untuk menerjemahkan persyaratan bisnis ke dalam persyaratan teknis — dan karena itu memperburuk kemacetan, membuat frustrasi pelanggan mereka. Akhirnya, pengguna bisnis berjuang untuk menguraikan ribuan tabel gudang data, membuat gudang data terpusat hanya menarik bagi pengguna yang paling canggih.

2. Model terdesentralisasi

Didorong oleh frustrasi pengguna akhir dan ledakan popularitas alat visualisasi seperti Tableau, pengguna bisnis telah mengambil tindakan sendiri dengan pendekatan terdesentralisasi. Alih-alih menunggu TI mengirimkan data, pengguna bisnis telah membuat ekstrak data, model data, dan laporan mereka sendiri. Dengan mendesentralisasikan persiapan data, pengguna bisnis melepaskan diri dari TI dan menghindari masalah “hilang dalam terjemahan” yang terkait dengan pendekatan terpusat yang dipimpin oleh TI.

Gambar 2: Model terdesentralisasi untuk manajemen data & analitik

Namun dalam praktiknya, pendekatan ini, seperti pendekatan terpusat, juga menimbulkan beberapa tantangan besar. Pertama, dengan kurangnya kontrol atas definisi bisnis, pengguna bisnis membuat versi realitas mereka sendiri dengan setiap dasbor yang mereka buat. Akibatnya, definisi dan hasil bisnis yang bersaing menghancurkan kepercayaan dan kepercayaan manajemen pada hasil analitik. Kedua, pendekatan terdesentralisasi mendorong proliferasi platform dan alat yang bersaing dan seringkali tidak kompatibel, membuat integrasi analitik di seluruh unit bisnis menjadi sulit atau tidak mungkin.

jaringan data

Data mesh dimaksudkan untuk mengatasi tantangan kedua model. Ia menerima bahwa data saat ini didistribusikan dan memungkinkan semua pengguna dalam organisasi untuk mengakses dan menganalisis wawasan bisnis dari hampir semua sumber data, tanpa intervensi dari tim data ahli. Ini lebih didasarkan pada orang dan organisasi daripada teknologi, itulah sebabnya ini sangat menarik. Arsitektur terdistribusi dari mesh mendesentralisasikan kepemilikan setiap domain bisnis. Ini berarti setiap domain memiliki kendali atas kualitas, privasi, kesegaran, akurasi, dan kepatuhan data untuk kasus penggunaan analitis dan operasional.

Pendekatan data mesh, bagaimanapun, menganjurkan model organisasi yang sepenuhnya terdesentralisasi dengan menghapuskan tim terpusat sama sekali. Saya ingin menyarankan alternatif untuk pendekatan ini yang memperkenalkan pusat keunggulan untuk membuat model manajemen data terdesentralisasi yang layak untuk sebagian besar perusahaan.

Model hub-and-spoke: Sebuah alternatif untuk data mesh

Jelas bahwa tidak ada pendekatan, terpusat atau terdesentralisasi, yang dapat memberikan kelincahan dan konsistensi pada saat yang bersamaan. Tujuan-tujuan ini bertentangan. Namun, ada model yang dapat memberikan yang terbaik dari kedua dunia jika diterapkan dengan alat dan proses yang tepat.

Model “hub-and-spoke” adalah alternatif untuk arsitektur data mesh dengan beberapa perbedaan penting. Yaitu, model hub-and-spoke memperkenalkan tim data pusat, atau pusat keunggulan (“hub”). Tim ini memiliki platform data, perkakas, dan standar proses sedangkan tim domain bisnis (“jari-jari”) memiliki produk data untuk domain mereka. Pendekatan ini memecahkan fenomena “apa saja” dari model desentralisasi, sambil memberdayakan ahli materi pelajaran (UKM), atau pengelola data, untuk secara mandiri membuat produk data yang memenuhi kebutuhan mereka.

Gambar 3: Model hub-and-spoke untuk manajemen data & analitik

Mendukung model hub-and-spoke yang terdesentralisasi untuk membuat produk data mengharuskan tim berbicara bahasa data yang umum, dan itu bukan SQL. Yang dibutuhkan adalah logis cara mendefinisikan hubungan data dan logika bisnis yang terpisah dan berbeda dari representasi fisik data. Model data semantik adalah kandidat ideal untuk berfungsi sebagai Batu Rosetta untuk tim domain data yang berbeda karena dapat digunakan untuk membuat kembaran digital bisnis dengan memetakan data fisik ke dalam istilah yang ramah bisnis. Pakar domain dapat menyandikan pengetahuan bisnis mereka ke dalam bentuk digital agar orang lain dapat bertanya, terhubung, dan meningkatkan.

Agar pendekatan ini berfungsi dalam skala besar, sangat penting untuk menerapkan platform lapisan semantik umum yang mendukung berbagi model data, dimensi yang sesuai, kolaborasi, dan kepemilikan. Dengan lapisan semantik, tim data pusat (hub) dapat menentukan model umum dan dimensi yang sesuai (yaitu, waktu, produk, pelanggan) sementara pakar domain (jari-jari) memiliki dan mendefinisikan model proses bisnis mereka (yaitu, “penagihan,” ” pengiriman,” “gen utama”). Dengan kemampuan untuk berbagi aset model, pengguna bisnis dapat menggabungkan model mereka dengan model dari domain lain untuk membuat mashup baru guna menjawab pertanyaan yang lebih mendalam.

Gambar 4: Menggabungkan model bersama & model khusus domain

Model hub-and-spoke berhasil karena memainkan kekuatan tim terpusat dan domain bisnis: tim terpusat memiliki dan mengoperasikan platform teknis dan menerbitkan model bersama, sementara tim bisnis membuat produk data khusus domain menggunakan rangkaian yang konsisten definisi bisnis dan tanpa perlu memahami model bisnis domain lain.

Bagaimana menuju ke sana

Pindah ke model hub-and-spoke untuk mengirimkan produk data tidak perlu mengganggu. Ada dua jalur menuju kesuksesan, bergantung pada model yang ada untuk pengiriman analitik.

Jika organisasi analitik Anda saat ini adalah terpusat, tim pusat dan tim bisnis harus bersama-sama mengidentifikasi domain data utama, menetapkan pengelolaan data, dan menyematkan insinyur analitik ke masing-masing. Insinyur analitik dapat berasal dari tim pusat atau tim bisnis. Menggunakan platform lapisan semantik, insinyur analitik tertanam dapat bekerja di dalam tim domain bisnis untuk membuat model data dan produk data untuk domain tersebut. Insinyur analitik tertanam bekerja dengan tim data pusat untuk menetapkan standar untuk perkakas dan proses sambil mengidentifikasi model umum.

Jika organisasi Anda saat ini adalah terdesentralisasi, Anda dapat membuat tim data pusat untuk menetapkan standar perkakas dan proses. Selain mengelola platform lapisan semantik serta objek dan model bersamanya, tim data pusat dapat mengelola jalur pipa data dan platform data yang dibagikan oleh tim domain.

Bangunan untuk skala

Model organisasi yang optimal untuk analitik akan bergantung pada ukuran dan kematangan organisasi Anda. Namun, tidak pernah terlalu dini untuk membangun skala. Tidak peduli seberapa kecil, berinvestasi dalam model desentralisasi hub-and-spoke untuk membuat produk data akan membuahkan hasil sekarang dan di masa depan. Dengan mempromosikan pengelolaan dan kepemilikan data oleh pakar domain, menggunakan seperangkat alat dan definisi semantik yang umum, seluruh organisasi Anda akan diberdayakan untuk membuat produk data dalam skala besar.

David P. Mariani adalah CTO dan salah satu pendiri AtScale, Inc.

DataDecisionMakers

Selamat datang di komunitas VentureBeat!

DataDecisionMakers adalah tempat para ahli, termasuk orang teknis yang melakukan pekerjaan data, dapat berbagi wawasan dan inovasi terkait data.

Jika Anda ingin membaca tentang ide-ide mutakhir dan informasi terkini, praktik terbaik, dan masa depan data dan teknologi data, bergabunglah dengan kami di DataDecisionMakers.

Anda bahkan mungkin mempertimbangkan untuk menyumbangkan artikel Anda sendiri!

Baca Lebih Lanjut Dari DataDecisionMakers

Leave a Reply

Your email address will not be published.