Apa Itu Data Mesh? Memahami Evolusi Berikutnya dalam Arsitektur Data

Data mesh adalah pendekatan terdesentralisasi untuk manajemen data di mana data diperlakukan sebagai produk dan dimiliki oleh tim lintas fungsi, me mpromosikan aksesibilitas, skalabilitas, dan kualitas data di seluruh organisasi melalui arsitektur berorientasi domain dan infrastruktur data mandiri.

Panduan ini akan menguraikan arsitektur data mesh, bagaimana cara kerjanya, dan apa artinya bagi operasi bisnis Anda. Pada saat Anda selesai membaca, Anda akan memiliki alat untuk meningkatkan skala bisnis Anda dan tetap lincah dalam menghadapi perubahan.

Zhamak Dhegani menciptakan istilah data mesh pada tahun 2019 sebagai cara revolusioner untuk mengelola data penting perusahaan.

Jika Anda pernah mendengar frasa "jangan menaruh semua telur dalam satu keranjang," Anda pasti sudah memahami logika arsitektur data mesh. Data mesh mengacu pada pendekatan yang terdesentralisasi dan terdistribusi secara luas terhadap kepemilikan data.

Prinsip-prinsip Utama Data Mesh

Meskipun arsitektur data mesh Anda mungkin memiliki sentuhan yang unik, namun prinsip-prinsip utamanya tetap sama. Data mesh adalah pendekatan praktis terhadap data yang memastikan tidak ada satu entitas pun yang memiliki terlalu banyak kontrol atau tanggung jawab.

Di bawah ini adalah prinsip-prinsip inti dari data mesh dan bagaimana hal itu berhubungan dengan alat yang serupa seperti data lake atau data fabric.

Penting untuk mendefinisikan apa arti domain dalam konteks arsitektur data mesh. Dalam hal ini, domain mengacu pada setiap bagian atau lingkungan dari entitas bisnis, yang dapat mencakup karyawan, pemasok, produk, dan pelanggan.

Kepemilikan data yang berorientasi pada domain berarti tidak ada satu entitas pun yang memiliki semua kendali atas bagaimana data disimpan, didistribusikan, atau diakses. Manfaat dari manajemen data yang terdesentralisasi meliputi:

• Konsumen data menerima akses ke produk data langsung dari pemilik data, bukannya harus menyaring beberapa perantara untuk mendapatkan apa yang mereka butuhkan
• Pengurangan hambatan dan jalur data untuk memastikan komunikasi yang lebih lancar di berbagai entitas
• Pencegahan silo data antara domain yang berbeda, menghindari aset data terblokir dan terkunci dari orang-orang yang membutuhkannya

Memperlakukan data sebagai produk adalah hasil kuat lainnya dari data mesh, yang memungkinkan bisnis mendapatkan nilai maksimal dari aset mereka.

Meskipun data yang diacak secara teknis bukanlah B2C - data tersebut akan sampai ke karyawan lain dalam bisnis - pola pikir produk sangat penting untuk menjaga agar sistem tetap bekerja dengan baik. Pekerja juga membutuhkan komitmen untuk komunikasi yang lancar dan organisasi yang konsisten agar dapat melakukan pekerjaan mereka dengan baik.

Beberapa sifat yang Anda perlukan untuk memastikan bahwa Anda memperlakukan data sebagai sebuah produk antara lain:

• Memudahkan untuk menemukan data dalam katalog data terpusat
• Konvensi penamaan yang konsisten di dalam organisasi untuk menghindari kebingungan atau waktu yang terbuang
• Fitur kontrol kualitas seperti pemeriksaan data setelah metode verifikasi dasar

Mari kita gali lebih dalam lagi ke dalam data mesh dan pelajari tentang bagaimana sumber data terdesentralisasi bekerja dalam praktiknya. Infrastruktur data mandiri memastikan setiap domain memiliki tingkat tanggung jawab tertentu dalam memelihara sumber daya data.

Apa pun domain bisnisnya, setiap orang memiliki peran masing-masing dalam menyaring, membersihkan, dan memuat datanya. Sebagai contoh, membagi tanggung jawab ini dapat terlihat seperti memberikan kemampuan kepada insinyur data untuk mengelola teknologi data, sementara analis data memberi label dan mengatur data di kemudian hari. Jika tim Anda lebih kecil, Anda mungkin memiliki lebih banyak tanggung jawab di pundak lebih sedikit orang. Beberapa alat dan platform yang bisa Anda gunakan untuk manajemen data terdesentralisasi adalah penyimpanan terdesentralisasi, enkripsi, dan rantai blok.

Terakhir, data mesh membutuhkan tingkat keamanan yang tinggi agar dapat berjalan dengan baik. Dengan banyaknya domain yang ikut serta, setiap orang harus memastikan bahwa mereka berkomitmen pada praktik terbaik untuk menjaga penggunaan data tetap aman.

Setiap domain memiliki kemampuan untuk memberikan standar dan implementasi yang unik tergantung pada kebutuhan mereka. Misalnya, satu tim mungkin tidak memiliki kemampuan untuk mengganti nama data, sementara tim lain mungkin tidak dapat menghapus duplikat tanpa persetujuan sebelumnya.

Apa pun jenis tata kelola, beberapa bentuk tata kelola akan dibutuhkan, termasuk standar, kebijakan, dan praktik yang diterapkan secara konsisten, serta menganalisis bagaimana produk data Anda akan digunakan dan oleh siapa.

Setelah Anda memahami apa itu data mesh dan kegunaannya, sekarang saatnya untuk menguraikan manfaat finansial bagi bisnis Anda. Membuat produk data saja tidak cukup - Anda harus mempertimbangkan skalabilitas, kelincahan, dan kualitas.

Penskalaan tidaklah mudah. Menurut McKinsey, hanya 22% bisnisdalam sepuluh tahun terakhir yang berhasil melakukannya. Data mesh memberi Anda kemampuan untuk mengembangkan bisnis Anda dengan andal tanpa merombak anggaran Anda.

Karena data mesh tidak bergantung pada platform data terpusat, tanggung jawab akan terdistribusi lebih merata. Salah satu manfaat utama dari distribusi ini adalah kemampuan untuk berinovasi dan mendesain ulang saat dalam perjalanan, yang memungkinkan konsumen data untuk mendekati data dengan cara-cara baru.

Tata kelola independen dari platform data mandiri menawarkan tingkat kebebasan tertentu yang tidak ditemukan pada struktur data terpusat. Bahkan jika satu tim sedang berjuang dengan keterbatasan atau perubahan operasional terkini, anggota tim lainnya dapat terus bergerak tanpa hambatan. Kelincahan ini adalah manfaat lain yang akan Anda lihat di bagian berikutnya.

Ketika Anda membuat produk data, Anda harus mempertimbangkan bagaimana data tersebut akan diunduh atau didistribusikan. Data mesh memungkinkan domain yang terpisah untuk mendekati data dengan lebih cepat sesuai dengan praktik terbaik mereka, mengurangi pekerjaan yang belum diselesaikan atau waktu tunggu.

Dari pencarian hingga penemuan, domain Anda dapat menjadi lebih gesit dalam perannya dan menyelesaikan tugasnya dengan lebih efisien. Hal tersebut bukan berarti setiap orang dapat melakukan apa pun yang mereka inginkan - masih ada praktik terbaik dan batasan bisnis - tetapi tentu saja ada lebih sedikit hambatan.

Kelincahan ini mengarah pada inovasi bisnis yang signifikan dan responsif terhadap pasar. Ke mana pun arah industri ini, Anda dapat mempercayai platform data mandiri Anda untuk menghadapi tantangan.

Meskipun data lake terdiri dari data mentah yang belum diorganisir atau disaring, data mesh secara inheren membutuhkan lebih banyak kualitas data. Karena Anda memperlakukan data sebagai produk data, Anda memegangnya dengan standar yang sama dengan apa yang akan Anda berikan kepada pelanggan.

Jadi, seperti apa kualitas data dalam praktiknya? Kualitas data dapat terlihat seperti menyediakan data yang telah dianalisis dengan benar dan dibersihkan dari kesalahan, seperti berkas yang rusak atau berkas duplikat bagi tim domain. Hal ini juga dapat terlihat seperti memberikan pengaturan yang lebih baik pada data yang tidak terstruktur sehingga orang dapat lebih mudah menemukannya.

Meningkatkan kualitas data memastikan konsumen data Anda dapat melakukan pekerjaan mereka dengan lebih efisien, yang mengarah pada efek riak positif di seluruh bisnis. Mengabaikan kualitas data dalam sebuah data mesh dapat menimbulkan risiko kebingungan, penyimpanan yang sia-sia, atau silo data.

Mulai dari teknisi data hingga tim data pusat, semua orang harus bisa bekerja sama secara efisien. Data mesh meningkatkan kolaborasi di seluruh tim domain dengan memberikan tugas konkret kepada setiap orang untuk mengumpulkan, menganalisis, dan menggunakan data.

Karena data mesh membutuhkan pemeliharaan berkelanjutan untuk memastikan data cukup fungsional untuk digunakan, maka kolaborasi adalah fitur utama. Semua tim domain harus selalu berhubungan secara teratur untuk memastikan produk data mempertahankan tingkat kualitas yang konsisten untuk fungsi bisnis Anda. Secara keseluruhan, jaring data mengarah pada wawasan lintas fungsi yang lebih baik dan pengambilan keputusan berdasarkan data.

Data mesh bukan satu-satunya arsitektur yang bisa Anda gunakan untuk bisnis Anda. Di bawah ini adalah beberapa variasi yang harus Anda pertimbangkan saat Anda menyusun operasi data yang lebih aman dan efisien.

Sekilas, data mesh dan data warehouse dapat terlihat mirip karena keduanya berurusan dengan produk data dalam jumlah besar. Namun, data warehouse adalah pendekatan yang lebih terpusat, sementara data mesh terdesentralisasi.

Data warehouse sangat menarik karena menyederhanakan cara bisnis mendekati data, mengkonsolidasikan semuanya ke dalam satu repositori. Pendekatan ini dapat berguna untuk bisnis kecil yang belum yakin apakah mereka menginginkan ukuran dan skala data mesh. Namun, kelemahan dari data warehouse adalah betapa sulitnya untuk mengukurnya. Fungsionalitasnya juga lebih terbatas dan tidak selincah data mesh.

Data mesh menawarkan pendekatan terdesentralisasi di mana beberapa tim domain bertanggung jawab atas bagaimana data disimpan, dikategorikan, didistribusikan, dan digunakan.

Data Mesh vs. Data Lakes

Data lake dan data mesh berada di ujung spektrum yang hampir berlawanan. Data lake menawarkan tempat penyimpanan data mentah dan tidak terstruktur, sementara data mesh membutuhkan tingkat organisasi yang lebih tinggi.

Apakah itu berarti yang satu secara otomatis lebih baik dari yang lain? Tidak sepenuhnya. Data lake sangat berguna untuk bisnis kecil yang perlu mengumpulkan data dalam jumlah besar secepat mungkin. Hambatan masuk yang rendah dan fondasi yang lincah membuatnya menjadi alat yang berguna untuk mengembangkan bisnis.

Meskipun demikian, data lake masih memiliki fungsi yang terbatas. Karena datanya masih mentah, masalah seperti berkas yang rusak, berkas duplikat, dan berkas yang tidak terorganisir akan segera diketahui.

Terakhir, kami memiliki data fabric yang harus dipertimbangkan. Sementara data mesh menggunakan fondasi terdesentralisasi untuk mendistribusikan dan menggunakan data, data fabric membutuhkan pendekatan data terpusat.

Data fabric tidak hanya membutuhkan struktur data terpusat, namun juga jauh lebih otomatis daripada data mesh. Arsitektur data fabric hanya membutuhkan sedikit pengawasan untuk mengumpulkan data dari berbagai sumber di satu lokasi yang mudah untuk digunakan. Pendekatan hiper-otomatis ini bisa sangat menarik bagi bisnis yang memiliki cara kerja spesifik dan perlu menghemat waktu sebanyak mungkin.

Setelah Anda memahami cara kerja data mesh dan manfaatnya bagi bisnis Anda, Anda mungkin bertanya-tanya apakah Anda harus menerapkannya. Sebelum Anda melakukannya, pertimbangkan pertanyaan-pertanyaan kunci berikut ini untuk mendapatkan gambaran yang lebih baik tentang bagaimana Anda dapat memperoleh manfaatnya.

Pertanyaan pertama yang harus Anda tanyakan pada diri Anda sendiri tentang data mesh adalah tentang ukuran dan kompleksitas bisnis Anda. Apakah organisasi Anda cukup besar dan kompleks untuk mendapatkan keuntungan dari pendekatan desentralisasi?

Beberapa pertanyaan lain yang harus Anda tanyakan adalah:

• Apakah Anda mengalami masalah skalabilitas dengan arsitektur data Anda saat ini?
• Apakah Anda memiliki beberapa tim domain yang dapat menggunakan kolaborasi silang yang lebih baik?
• Apakah salah satu rencana bisnis Anda untuk beberapa tahun ke depan melibatkan perluasan organisasi Anda?

Manajemen data adalah masalah yang kompleks mulai dari masalah keamanan hingga organisasi yang tepat. Sebagian besar organisasi menganggap manajemen data sangat penting untuk kesuksesan, jadi Anda tidak bisa tidak mengajukan pertanyaan-pertanyaan berikut.

• Apakah ada kemacetan data, silo, atau masalah kualitas yang menghambat operasi Anda?
• Apakah Anda membutuhkan skalabilitas dan kelincahan yang lebih baik dalam mengelola data Anda?
• Apakah Anda menginginkan pendekatan terpusat atau pendekatan terdesentralisasi?

Data Mesh hanya sebaik konsumen data yang menggunakannya. Jika keahlian domain Anda perlu diasah, data mesh mungkin merupakan komitmen yang terlalu besar.

Ajukan pertanyaan-pertanyaan berikut ini tentang susunan tim platform data Anda untuk mengetahui apakah Anda harus beralih:

• Apakah tim Anda memiliki pengetahuan spesifik domain yang kuat?
• Seberapa banyak variasi yang Anda miliki dalam pengetahuan khusus domain?
• Apakah menurut Anda tim Anda siap untuk mengambil alih kepemilikan data mereka sebagai produk?

Bahkan jika Anda menjawab tidak untuk beberapa pertanyaan ini, bukan berarti Anda tidak dapat membuat data mesh. Pastikan Anda tidak melangkah maju tanpa mengatasi masalah ini, karena kurangnya kesiapan pasti akan menjadi masalah di kemudian hari.

Data mesh adalah sebuah filosofi sekaligus sistem manajemen data. Menerapkannya membutuhkan tingkat komitmen, kolaborasi, dan tekad untuk berhasil.

• Apakah budaya organisasi Anda selaras dengan prinsip-prinsip desentralisasi?
• Apakah tim Anda bersedia menerima pergeseran budaya menuju kepemilikan dan kolaborasi data?
• Apakah tim Anda responsif dan proaktif saat mengelola atau mendistribusikan data?

Data mesh membutuhkan lebih banyak pengawasan daripada data lake. Tidak perlu beralih ke dalam data mesh jika Anda merasa tidak memiliki sumber daya untuk memeliharanya.

• Apakah Anda memiliki sumber daya untuk berinvestasi dalam infrastruktur atau kerangka kerja tata kelola layanan mandiri?
• Apakah organisasi Anda berkomitmen untuk memberikan dukungan dan peningkatan yang berkelanjutan untuk manajemen data yang lebih baik?
• Apakah Anda tahu sumber daya mana yang ingin Anda gunakan untuk membuat struktur data mesh?

Jika Anda telah menjawab pertanyaan-pertanyaan di atas tentang data mesh dan ingin mengimplementasikannya, sekarang saatnya untuk melihat implementasinya. Meskipun membuat platform data layanan mandiri dapat terlihat menakutkan karena skalanya, namun hal ini dapat dipersempit menjadi beberapa langkah.

Langkah pertama Anda adalah memperlakukan data Anda sebagai produk data. Ini adalah pergeseran perspektif yang merupakan bagian dari proses penilaian dan perencanaan untuk mengubah struktur organisasi Anda.

Mengevaluasi kesiapan organisasi dapat melibatkan identifikasi domain-domain utama serta pemangku kepentingan. Apa yang ingin Anda capai dengan bisnis Anda dan bagaimana data yang tidak terorganisir menjauhkan Anda dari tujuan-tujuan tersebut?

Tim domain Anda harus memiliki peran dan tanggung jawab yang jelas saat membangun data mesh. Satu tim mungkin bertugas mengumpulkan data, sementara tim lain mungkin bertanggung jawab menganalisisnya untuk membuat keputusan bisnis.

Pelatihan dan orientasi tim domain Anda sangat penting untuk menciptakan platform data mandiri yang berfungsi dengan lancar. Program pelatihan yang terencana dengan baik akan meningkatkan keterlibatan karyawan. Ketika Anda mempertimbangkan bagaimana data mesh adalah pendekatan yang berfokus pada pengguna, maka akan lebih baik jika Anda menjaga agar pengguna tetap berinvestasi.

Setelah Anda memiliki gambaran yang lebih baik tentang bagaimana tim domain Anda akan berfungsi dan tujuan bisnis Anda secara keseluruhan, saatnya untuk membangun infrastruktur data mandiri. Tahap ini adalah saat Anda mulai memilih berbagai alat dan platform untuk membantu Anda mengelola data domain.

Anda harus memprioritaskan alat yang memungkinkan skalabilitas dan fleksibilitas. Misalnya, solusi penyimpanan awan yang memungkinkan Anda untuk memperluas sesuai kebutuhan atau memberikan wawasan yang lebih dalam tentang data domain Anda. Anda juga bisa mencari layanan keamanan yang menyediakan analisis berkelanjutan atas aktivitas sensitif.

Produk data Anda memerlukan tata kelola dan kepatuhan yang konsisten untuk memastikan praktik terbaik di seluruh lini. Hal terakhir yang Anda inginkan adalah orang yang salah mengakses data domain Anda atau salah menanganinya.

Mengembangkan kerangka kerja tata kelola melibatkan pembuatan seperangkat standar untuk setiap tim domain. Misalnya, Anda bisa memberikan akses dan izin tertentu tergantung pada peran tim seseorang. Meluangkan waktu untuk menetapkan kebijakan untuk kualitas data, keamanan, dan interoperabilitas akan memastikan data domain Anda tetap aman dan dapat digunakan.

Setelah Anda mengetahui fungsi dari data mesh Anda, Anda tidak perlu melakukan implementasi secara menyeluruh. Sangatlah cerdas untuk memulai dengan proyek percontohan saat Anda membiasakan diri dengan produk data dan ekspektasi baru yang menyertainya.

Memulai dengan proyek percontohan memungkinkan Anda untuk mengumpulkan umpan balik dan terus melakukan perbaikan. Anda mungkin mendapati bahwa Anda sebenarnya menginginkan tim data pusat atau menyadari bahwa para ilmuwan data Anda membutuhkan tim domain mereka sendiri. Meskipun Anda benar-benar bisa belajar dari bisnis lain dan bagaimana mereka mendekati data, beberapa pengetahuan hanya bisa didapat dari coba-coba.

Menyusun data mesh tidak harus menjadi proyek tunggal. Memang, data mesh pada dasarnya dirancang untuk menjadi upaya kolaboratif yang mengubah produk data Anda melalui pendekatan humanis.

Kami memberi Anda sarana untuk mengakses data dan menggunakannya secara lebih efektif dengan solusi data yang komprehensif. Kami menyediakan kemampuan canggih dalam manajemen dan integrasi data untuk membangun infrastruktur data yang dapat diskalakan dan andal. Platform data berbasis awan kami memberi Anda kemampuan untuk mengakses data dengan nyaman, aman, dan konsisten.

Platform data canggih InterSystems, termasuk dukungan untuk manajemen data terdesentralisasi, memfasilitasi pembuatan dan pemeliharaan infrastruktur data mandiri. Selama bertahun-tahun kami telah membantu berbagai bisnis seperti fasilitas kesehatan, perusahaan pelayaran, dan bank investasi dalam mengelola dan mengatur data mereka.

Chadwicks Group, Murata Machinery, dan Chess Logistics Technology adalah beberapa klien sebelumnya yang kami bantu dengan silo data dan keputusan berbasis data. Apakah Anda khawatir tentang kelangsungan hidup produk data Anda atau ingin meningkatkan data lake Anda, kami siap membantu.

InterSystems berdedikasi pada peningkatan berkelanjutan dan tetap menjadi yang terdepan dalamteknologi data. Kami akan memberikan dukungan dan kolaborasi berkelanjutan kepada bisnis Anda untuk memastikan kesuksesan inisiatif data mesh Anda.

Hubungi InterSystems ketika Anda siap untuk membuat paradigma data mesh.

Hubungi InterSystems