Co je datová síť? Pochopení dalšího vývoje datové architektury

Data mesh je decentralizovaný přístup ke správě dat, kdy se s daty zachází jako s produktem a vlastní je týmy napříč funkcemi, což podpor uje dostupnost, škálovatelnost a kvalitu dat v celé organizaci prostřednictvím architektury orientované na doménu a samoobslužné datové infrastruktury.

Tento průvodce rozebere architekturu data mesh, její fungování a význam pro vaše podnikové operace. Až dočtete, budete mít k dispozici nástroje, které vám umožní rozšířit podnikání a zůstat pružní tváří v tvář změnám.

Zhamak Dhegani vymyslel v roce 2019 termín data mesh jako revoluční způsob správy klíčových dat společnosti.

Pokud jste někdy slyšeli frázi "nedávejte všechna vejce do jednoho košíku", logice architektury data mesh už rozumíte. Datová síť označuje decentralizovaný a široce distribuovaný přístup k vlastnictví dat.

Základní principy datové sítě

I když vaše architektura datové sítě může mít jedinečné prvky, hlavní principy jsou stejné. Datová síť je praktický přístup k datům, který zajišťuje, že žádný subjekt nemá příliš velkou kontrolu nebo odpovědnost.

Níže jsou uvedeny základní principy datové sítě a jejich vztah k podobným nástrojům, jako je datové jezero nebo datová struktura.

Je důležité definovat, co znamená doména v kontextu architektury datové sítě. V tomto případě se doménou rozumí jakákoli podmnožina nebo prostředí podnikatelského subjektu, které může zahrnovat zaměstnance, dodavatele, produkty a zákazníky.

Doménově orientované vlastnictví dat znamená, že žádný subjekt nemá veškerou kontrolu nad tím, jak jsou data uložena, distribuována nebo jak je k nim přistupováno. Mezi výhody decentralizované správy dat patří:

• Spotřebitelé dat získávají přístup k datovým produktům přímo od vlastníků dat, místo aby museli procházet přes několik prostředníků, aby získali to, co potřebují
• Snížení počtu úzkých míst a datových potrubí pro zajištění plynulejší komunikace mezi různými subjekty
• Zabránění vzniku datových sil mezi různými doménami, aby se zabránilo tomu, že se datová aktiva uzavřou a odříznou od lidí, kteří je potřebují

Zacházení s daty jako s produktem je dalším silným výsledkem datové sítě, který umožňuje podnikům získat ze svých aktiv co největší hodnotu.

Přestože data, která se promíchávají, nejsou technicky B2C - jdou k dalším zaměstnancům podniku - je produktové myšlení nezbytné pro udržení hladkého fungování systému. Pracovníci také potřebují odhodlání k bezproblémové komunikaci a důsledné organizaci, aby mohli dobře vykonávat svou práci.

K několika vlastnostem, které je třeba zajistit, abyste s daty zacházeli jako s produktem, patří:

• Snadné vyhledávání dat v centralizovaném katalogu dat
• Konzistentní pojmenování v rámci organizace, aby se předešlo záměně nebo ztrátě času
• Funkce kontroly kvality, jako je prověřování dat po základních ověřovacích metodách

Pojďme se podívat trochu hlouběji do datové sítě a zjistit, jak decentralizovaný zdroj dat vlastně funguje v praxi. Samoobslužná datová infrastruktura zajišťuje, že každá doména nese určitou míru odpovědnosti při údržbě datového zdroje.

Bez ohledu na podnikovou doménu má každý svou roli, pokud jde o filtrování, čištění a načítání jejích dat. Rozdělení této odpovědnosti může vypadat například tak, že datoví inženýři budou mít možnost spravovat datové technologie, zatímco datoví analytici budou data označovat a organizovat později. Pokud je váš tým menší, může být více povinností na bedrech menšího počtu lidí. Několik nástrojů a platforem, které můžete použít pro decentralizovanou správu dat, je decentralizované úložiště, šifrování a blockchainy.

V neposlední řadě vyžaduje datová síť pro svůj správný chod vysokou úroveň zabezpečení . Vzhledem k tomu, že se na tom podílí tolik domén, musí se každý ujistit, že dodržuje osvědčené postupy, aby bylo používání dat bezpečné.

Každá doména má možnost poskytovat jedinečné standardy a implementace v závislosti na svých potřebách. Například jeden tým nemusí mít možnost přejmenovat data, zatímco jiný tým nemusí mít možnost odstranit duplikáty bez předchozího schválení.

Bez ohledu na typ správy bude nutná určitá forma řízení, včetně důsledně zavedených standardů, zásad a postupů, a také analýza toho, jak bude váš datový produkt používán a kým.

Nyní, když už víte, co je datová síť a k čemu se používá, je čas rozebrat finanční přínosy pro vaši firmu. Vytvářet datové produkty nestačí - musíte mít na paměti škálovatelnost, agilitu a kvalitu.

Škálování není snadné. Podle společnosti McKinsey pouze 22 % podnikův posledních deseti letech úspěšně. Datová síť vám dává možnost spolehlivě rozvíjet podnikání, aniž byste museli přehodnocovat svůj rozpočet.

Protože datová síť nespoléhá na centralizovanou datovou platformu, je odpovědnost rovnoměrněji rozdělena. Jednou z hlavních výhod této distribuce je možnost inovovat a měnit design za chodu, což umožňuje spotřebitelům dat přistupovat k datům novými způsoby.

Nezávislá správa samoobslužné datové platformy nabízí určitou úroveň svobody, kterou v centrální datové struktuře nenajdete. I když se jeden tým potýká s omezeními nebo nedávnými provozními změnami, ostatní členové týmu mohou pokračovat v práci relativně bez překážek. Tato agilita je další výhodou, kterou uvidíte v následující části.

Při vytváření datových produktů je třeba zvážit, jak budou tato data stahována nebo dále šířena. Datová síť umožňuje jednotlivým doménám přistupovat k datům rychleji podle jejich nejlepších postupů, čímž se snižuje počet nevyřízených dotazů nebo čekacích dob.

Od dotazování až po zjišťování, vaše domény mohou být ve své roli agilnější a efektivněji plnit své úkoly. To neznamená, že si každý může dělat, co chce - stále existují osvědčené postupy a obchodní omezení - ale rozhodně je méně překážek.

Tato agilita vede k výrazným obchodním inovacím a rychlé reakci na trh. Bez ohledu na to, kam se odvětví ubírá, můžete věřit, že vaše samoobslužná datová platforma tuto výzvu zvládne.

Datové jezero se skládá ze surových dat, která ještě nebyla uspořádána ani filtrována, ale datová síť ze své podstaty vyžaduje vyšší kvalitu dat. Protože s daty zacházíte jako s datovými produkty, musíte na ně klást stejné nároky jako na to, co byste dodali zákazníkovi.

Jak tedy vypadá kvalita dat v praxi? Kvalita dat může vypadat tak, že týmům v doméně poskytnete data, která byla řádně analyzována a zbavena všech chyb, jako jsou poškozené soubory nebo duplicitní soubory. Může to také vypadat tak, že nestrukturovaná data lépe uspořádáte, aby je lidé mohli snáze najít.

Zlepšení kvality dat zajistí, že vaši spotřebitelé dat budou moci efektivněji vykonávat svou práci, což povede k pozitivnímu efektu v celém podniku. Přehlížení kvality dat v datové síti může znamenat riziko zmatku, zbytečného ukládání nebo datových sil.

Všichni, od datových inženýrů až po centrální datový tým, musí být schopni efektivně spolupracovat. Datová síť zlepšuje spolupráci napříč týmy v jednotlivých oblastech tím, že každému zadává konkrétní úkoly směřující ke shromažďování, analýze a používání dat.

Vzhledem k tomu, že datová síť vyžaduje průběžnou údržbu, aby bylo zajištěno, že data jsou dostatečně funkční pro použití, je spolupráce klíčovou vlastností. Všechny doménové týmy musí být v pravidelném kontaktu, aby bylo zajištěno, že datové produkty udržují konzistentní úroveň kvality pro vaše podnikové funkce. Celkově vede datová síť k lepšímu přehledu mezi jednotlivými funkcemi a k rozhodování založenému na datech.

Datová síť není jedinou architekturou, kterou můžete pro své podnikání použít. Níže uvádíme několik variant, které byste měli zvážit při sestavování bezpečnějších a efektivnějších datových operací.

Na první pohled mohou datová síť a datový sklad vypadat podobně, protože oba pracují s velkým množstvím datových produktů. Datový sklad je však centralizovanější přístup, zatímco datová síť je decentralizovaná.

Datový sklad je velmi atraktivní, protože zjednodušuje přístup podniku k datům, neboť vše konsoliduje do jediného úložiště. Tento přístup může být užitečný pro menší podniky, které si ještě nejsou jisté, zda chtějí velikost a rozsah datové sítě. Nevýhodou datového skladu je však jeho obtížné škálování. Je také omezenější ve svých funkcích a není tak agilní jako datová síť.

Datová síť nabízí decentralizovaný přístup, kdy více týmů z různých oblastí přebírá odpovědnost za způsob ukládání, kategorizace, distribuce a využívání dat.

Datová síť vs. datová jezera

Datové jezero a datová síť existují na téměř opačných koncích spektra. Datové jezero nabízí úložiště nezpracovaných, nestrukturovaných dat, zatímco datová síť vyžaduje vyšší úroveň organizace.

Znamená to, že jedno je automaticky lepší než druhé? Ne tak docela. Datové jezero je velmi užitečné pro menší podniky, které potřebují co nejrychleji shromáždit velké množství dat. Nízká vstupní bariéra a agilní základ z něj činí užitečný nástroj pro rostoucí firmy.

Datové jezero má však stále omezenou funkčnost. Vzhledem k tomu, že data jsou nezpracovaná, rychle se projeví problémy, jako jsou poškozené soubory, duplicitní soubory a neuspořádané soubory.

V neposlední řadě je třeba vzít v úvahu datovou strukturu. Zatímco data mesh využívá decentralizovaný základ pro distribuci a používání dat, data fabric vyžaduje centrální přístup k datům.

Data fabric nejenže vyžaduje centrální datovou strukturu , ale je mnohem automatizovanější než data mesh. Architektura datové struktury vyžaduje malý dohled, aby bylo možné shromažďovat data z různých zdrojů na jednom jednoduchém místě, které mohou lidé používat. Tento hyperautomatizovaný přístup může být velmi atraktivní pro podniky, které mají specifický způsob práce a potřebují ušetřit co nejvíce času.

Nyní, když už víte, jak datová síť funguje a jaký přínos má pro vaši firmu, možná přemýšlíte, zda byste ji měli zavést. Než tak učiníte, zvažte tyto klíčové otázky, abyste získali lepší představu o tom, jaké výhody byste mohli mít.

První otázka, kterou byste si měli položit v souvislosti s datovou sítí, se týká velikosti a složitosti vašeho podniku. Je vaše organizace dostatečně velká a složitá na to, abyste mohli využít decentralizovaný přístup?

Několik dalších otázek, které byste si měli položit:

• Máte se svou současnou datovou architekturou problémy se škálovatelností?
• Máte více doménových týmů, které by mohly lépe spolupracovat?
• Zahrnuje některý z vašich podnikatelských plánů na příštích několik let rozšíření vaší organizace?

Správa dat je komplexní záležitost, od otázek zabezpečení až po správnou organizaci. Většina organizací považuje správu dat za klíčovou pro úspěch, takže si nemůžete dovolit nepoložit následující otázky.

• Existují nějaká úzká místa v datech, sila nebo problémy s kvalitou, které brzdí vaše operace?
• Potřebujete lepší škálovatelnost a agilitu při správě dat?
• Chcete centralizovaný nebo decentralizovaný přístup?

Datová síť je tak dobrá, jak dobří jsou spotřebitelé dat, kteří ji používají. Pokud potřebujete zdokonalit své odborné znalosti v dané oblasti, může být datová síť příliš vel kým závazkem.

Položte si následující otázky týkající se složení týmu datové platformy, abyste zjistili, zda byste měli přejít:

• Disponují vaše týmy silnými znalostmi specifickými pro danou oblast?
• Jakou máte rozmanitost znalostí specifických pro danou oblast?
• Myslíte si, že jsou vaše týmy připraveny převzít odpovědnost za svá data jako produkty?

I když na některé z těchto otázek odpovíte záporně, neznamená to, že nemůžete vytvořit datovou síť. Jen se ujistěte, že nepokračujete bez vyřešení těchto otázek, protože nedostatečná připravenost se později stane problémem.

Datová síť je stejně tak filozofií jako systémem správy dat. Její zavedení vyžaduje určitou míru odhodlání, spolupráce a odhodlání uspět.

• Je kultura vaší organizace v souladu s decentralizovanými principy?
• Jsou vaše týmy ochotny přijmout kulturní změnu směrem k vlastnictví dat a spolupráci?
• Jsou vaše týmy při správě nebo distribuci dat pohotové a proaktivní?

Datová síť vyžaduje větší dohled než datové jezero. Není třeba se vrhat do datové sítě, pokud si myslíte, že nebudete mít prostředky na jejich údržbu.

• Máte prostředky na investice do samoobslužné infrastruktury nebo rámce správy?
• Je vaše organizace odhodlána poskytovat průběžnou podporu a zlepšování pro lepší správu dat?
• Víte, které prostředky chcete použít k vytvoření struktury datové sítě?

Pokud jste si odpověděli na výše uvedené otázky týkající se datové sítě a chcete ji implementovat, je čas podívat se na implementaci. Vytvoření samoobslužné datové platformy se může zdát vzhledem k jejímu rozsahu náročné, lze jej však rozdělit do několika kroků.

Prvním krokem je přistupovat k datům jako k datovým produktům. Jde o změnu perspektivy, která je součástí procesu hodnocení a plánování změny struktury organizace.

Hodnocení připravenosti organizace může zahrnovat identifikaci klíčových oblastí i zainteresovaných stran. Čeho se snažíte ve svém podnikání dosáhnout a jak vám v tom brání neuspořádaná data?

Při vytváření datové sítě musí mít vaše doménové týmy definované role a odpovědnosti. Jeden tým může mít na starosti shromažďování dat, zatímco ostatní mohou být zodpovědní za jejich analýzu za účelem přijímání obchodních rozhodnutí.

Školení a zapracování týmů v dané oblasti je zásadní pro vytvoření bezproblémově fungující samoobslužné datové platformy. Dobře naplánované školicí programy zvyšují angažovanost zaměstnanců. Když uvážíte, že datová síť je přístup zaměřený na uživatele, je ve vašem nejlepším zájmu udržet si zmíněné uživatele.

Jakmile budete mít lepší představu o tom, jak budou fungovat vaše doménové týmy a jaké jsou vaše celkové obchodní cíle, je čas vybudovat samoobslužnou datovou infrastrukturu. V této fázi začínáte vybírat různé nástroje a platformy, které vám pomohou spravovat data vaší domény.

Měli byste upřednostnit nástroje, které vám umožní škálovatelnost a flexibilitu. Například řešení cloudového úložiště, které umožňuje rozšiřování podle potřeby nebo poskytuje hlubší přehled o datech vaší domény. Můžete se také poohlédnout po bezpečnostní službě, která poskytuje průběžnou analýzu citlivých aktivit.

Vaše datové produkty potřebují konzistentní správu a dodržování předpisů, aby byly zajištěny osvědčené postupy ve všech oblastech. Poslední věcí, kterou chcete, je, aby k datům vaší domény přistupovali nesprávní lidé nebo aby s nimi špatně zacházeli.

Vývoj rámců správy zahrnuje vytvoření souboru standardů pro každý tým domény. Můžete například poskytnout určité přístupy a oprávnění v závislosti na roli osoby v týmu. Pokud věnujete čas vytvoření zásad pro kvalitu, zabezpečení a interoperabilitu dat, zajistíte, že vaše doménová data zůstanou bezpečná a použitelná.

Jakmile zjistíte, jakou funkci má vaše datová síť, nemusíte se do implementace pouštět naplno. Je chytré začít s pilotními projekty, protože se seznamujete s datovými produkty a novými očekáváními, která jsou s nimi spojena.

Začínáte-li s pilotními projekty, můžete získávat zpětnou vazbu a neustále se zlepšovat. Možná zjistíte, že jste ve skutečnosti chtěli centrální datový tým, nebo si uvědomíte, že vaši datoví vědci potřebují svůj vlastní tým. Přestože se můžete učit od jiných firem a jejich přístupu k datům, některé poznatky získáte pouze metodou pokus-omyl.

Sestavení datové sítě nemusí být samostatný projekt. Datová síť je totiž ze své podstaty navržena tak, aby byla společným úsilím, které transformuje vaše datové produkty prostřednictvím humanistického přístupu.

Poskytujeme vám prostředky pro přístup k datům a jejich efektivnější využití pomocí komplexních datových řešení. Poskytujeme pokročilé možnosti správy a integrace dat pro budování škálovatelných a spolehlivých datových infrastruktur. Naše cloudová datová platforma vám poskytuje možnost pohodlného, bezpečného a konzistentního přístupu k datům.

Pokročilé datové platformy InterSystems, včetně podpory decentralizované správy dat, usnadňují vytváření a údržbu samoobslužné datové infrastruktury. V průběhu let jsme pomáhali firmám, jako jsou zdravotnická zařízení, přepravní společnosti a investiční banky, spravovat a organizovat jejich data.

Chadwicks Group, Murata Machinery a Chess Logistics Technology je několik klientů, kterým jsme v minulosti pomohli s datovými sily a rozhodováním na základě dat. Ať už máte obavy o životaschopnost svých datových produktů, nebo chcete modernizovat svá datová jezera, jsme tu pro vás.

InterSystems se snaží neustále zlepšovat a zůstat na špičce v oblasti datovýchtechnologií. Poskytneme vaší firmě průběžnou podporu a spolupráci, abychom zajistili úspěch vašich iniciativ v oblasti datových sítí.

Kontaktujte InterSystems, až budete připraveni vytvořit paradigma datových sítí.

Kontaktujte InterSystems