データメッシュとは？ データアーキテクチャの次の進化を理解する

データメッシュとは、データを製品として扱い、部門横断的なチームが所有するデータ管理への分散型アプローチです。ドメイン指向のアーキテクチャとセルフサービスデータ・インフラを通じて、組織全体の データアクセシビリティ、スケーラビリティ、品質を促進します。

このガイドでは、データメッシュ・アーキテクチャを分解し、どのように機能し、業務にどのような意味を持つかを説明します。 読み終わる頃には、ビジネスの規模を拡大し、変化に俊敏に対応するためのツールを手にしていることでしょう。

Zhamak Dheganiは、企業の重要なデータを管理する画期的な方法として、2019年にデータメッシュという言葉を考案しました。

「すべての卵を1つのカゴに盛るな」という言葉を聞いたことがある人なら、データメッシュアーキテクチャの理屈はすでに理解していると言えます。

データメッシュの基本原則

データメッシュ・アーキテクチャには独自の工夫が施されているかもしれませんが、基本原則は同じです。 データメッシュとは、単一の部門・組織がコントロールや責任を持ちすぎないようにするための、データに対する実践的なアプローチです。

以下にデータメッシュの基本原則と、データレイクや データファブリックなどの類似ツールとの関係を示します。

データメッシュ・アーキテクチャの文脈で、ドメインが何を意味するのかを定義することは重要です。 この場合、ドメインとはビジネスエンティティのサブセットまたは環境 、従業員、サプライヤー、製品、顧客を含みます。

ドメイン指向のデータ所有権とは、データがどのように保存、配布、アクセスされるかを単一の組織がすべてコントロールするわけではないことを意味します。 分散型データ管理の利点は以下の通りです：

• データ利用者は、データ所有者から直接データ製品にアクセスすることができる。
• ボトルネックとデータパイプラインの削減により、複数の事業体間でよりシームレスなコミュニケーションを実現。
• 異なるドメイン間のデータのサイロ化を防ぎ、データ資産がゲート化され、それを必要とする人々から遮断されるのを防ぐ。

データを製品として扱うことは、データメッシュのもうひとつの強力な成果です。 、企業はその資産から最大限の価値を引き出すことができます。

シャッフルされたデータは、技術的には B2Cではなく、従業員に提供されます。システムを円滑に機能させるためには、製品マインドが不可欠です。

データを製品として扱うために必要な特性には、以下のようなものがあります：

• 一元化されたデータカタログでデータの発見を容易にする
• 混乱や無駄な時間を避けるため、組織内で一貫した命名規則を設ける
• 基本的な検証方法の後にデータを吟味するなどの品質管理機能

データメッシュをもう少し掘り下げて、分散型データソースが実際にどのように機能するのかを学びましょう。

どのようなビジネスドメインであっても、データのフィルタリング、クリーニング、ロードに関しては、皆それぞれの役割を担っています。 例えば、データエンジニアにデータテックの管理能力を与え、データアナリストは後でデータのラベル付けと整理を行うといったように、責任を分担することができますます。 チームの人数が少なければ、少ない人数でより多くの責任を背負うことになるかもしれません。 分散型データ管理に使えるツールやプラットフォームには、分散型ストレージ、暗号化、ブロックチェーンなどがあります。

最後に、データメッシュを適切に運用するには、 レベルの高いセキュリティが必要です。

各ドメインは、それぞれのニーズに応じて独自の基準と実装を提供する能力を持っています。 例えば、あるチームにはデータ名を変更する能力がなく、別のチームには事前承認なしに重複を削除する能力がないかもしれません。

ガバナンスの種類 にかかわらず、一貫して実施される標準、ポリシー、プラクティスや、データ製品が誰にどのように使用されるかの分析など、何らかの形のガバナンスが必要になります。

データメッシュとは何か、用途は何かをご理解いただけたと思いますので、次は御社のビジネスにとっての財務上のメリットをご説明しましょう。 データ製品を作るだけでは不十分で、スケーラビリティ、アジリティ、品質を念頭に置く必要があります。

スケーリングは簡単ではない マッキンゼーによると 成功した企業は、わずか22％にすぎません。

データメッシュは中央集権的なデータプラットフォームに依存しないため、責任はより均等に分散されます。

セルフサービス型データプラットフォームの独立したガバナンスは、中央データ構造にはない自由度を提供します。 あるチームが制限や戦略変更に苦しんでいても、他のメンバーは比較的支障なく動き続けることができます。 この敏捷性は、次のセクションでご紹介するもうひとつの利点です。

データ製品を作成する際には、そのデータがどのようにダウンロードされ、再配布されるかを考慮しなければならなりません。

クエリーからディスカバリーまで、ドメインはそれぞれの役割においてより機敏になり、より効率的にタスクを完了することができます。 だからといって誰でも好きなことができるというわけではありません--ベストプラクティスやビジネス上の制約は依然として存在すします-が、障害物が少なくなっていることは確かです。

。この俊敏性はビジネスの大幅な革新と 市場への対応力につながります。 業界がどこへ向かおうとも、セルフサービスデータ・プラットフォームが課題に立ち向かうと信頼できます。

データレイクはまだ整理もフィルターもされていない生データで構成されますが、データメッシュは本質的に、データの質を高める必要があります。 データをデータ製品として扱うため、顧客に提供するのと同じ基準でデータを管理することになります。

ではデータ品質とは実際にはどのようなものでしょう。 データ品質とは、適切に分析され、破損ファイルや重複ファイルなどの欠陥が取り除かれたデータをドメインチームに提供することです。 また非構造化データを整理して、人々がより簡単に見つけられるようにすることも可能です。

データ品質を向上させることで、データ利用者がより効率的に仕事をこなせるようになり、ビジネス全体にプラスの波及効果をもたらします。 データメッシュのデータ品質を見落とすと、混乱や無駄なストレージ、データのサイロ化を招く恐れがあります。

データエンジニアから中央データチームまで、全員が効率的に連携できる必要があります。 データメッシュは、データの収集、分析、利用に向けた具体的なタスクを全員に与えることで、ドメインチーム間のコラボレーションを強化します。

データメッシュは、データが十分に機能するよう継続的なメンテナンスが必要であるため、コラボレーションは重要な機能です。 すべてのドメインチームが定期的に連絡を取り合い、データ製品がビジネス機能に対して一貫した品質レベルを維持していることを確認する必要があります。 全体として、データメッシュは部門横断的な洞察の向上とデータ主導の意思決定につながります。

ビジネスに使えるアーキテクチャはデータメッシュだけではありません。 以下は、より安全で効率的なデータ運用を行うために考慮すべきいくつかのバリエーションです。

データメッシュとデータウェアハウスは、どちらも大量のデータ製品を扱うため、一見すると 似ています。 しかしデータウェアハウスが中央集権的なアプローチであるのに対し、データメッシュは分散型です。

データウェアハウスは、ビジネスがデータにアプローチする方法を単純化し、すべてを単一のリポジトリに統合するため、非常に魅力的です。 このアプローチは、データメッシュの規模と規模感に、まだ確信が持てない中小企業にとって有効です。 しかしデータウェアハウスの欠点は拡張が難しいことです。 また機能面でも制限があり、データメッシュほど俊敏ではありません。

データメッシュ vs. データレイク

データレイクとデータメッシュは、ほぼ対極に存在します。 データレイクが生の非構造化データのリポジトリを提供するのに対して、データメッシュはより高度な組織化を必要とします。

どちらかが他よりも優れているということなのでしょうか？ 完全ではありません。 データレイクは、大量データをできるだけ早く収集する必要がある中小企業にとって非常に有用です。

とはいえ、データレイクにはまだ限られた機能しかありません。 データは生ものなので、破損したファイル、重複したファイル、乱れたファイルなどの問題はすぐに知られることになります。

最後に、データファブリックを考慮しなければなりません。

データファブリックは中央データ構造を必要とするだけでなく、データメッシュよりもはるかに自動化されています。 データファブリック・アーキテクチャは、複数のソースからデータを収集し、人々が利用できるように1つのシンプルな場所に置くために、ほぼ監視を必要としません。 このような超自動化アプローチは、特定の作業方法があり、できるだけ時間を節約する必要がある企業にとって非常に魅力的です。

データメッシュがどのように機能し、ビジネスにどのようなメリットをもたらすかをご理解いただけましたでしょうか。 その前に主な質問を検討し利点を、よく理解しましょう。

データメッシュに関して、まず自問すべきはビジネスの規模と複雑さです。

貴社は、分散型アプローチから利益を得られるほど大規模で 複雑ですか？

• 現在のデータアーキテクチャにスケーラビリティの問題がありますか？
• 複数のドメインチームがあり、良いクロスコラボレーションが可能ですか？
• 今後数年間の事業計画の中に、組織の拡大を伴うものはありますか？

データ管理は、セキュリティの問題から適切な組織化まで、複雑な問題です。 ほとんどの組織では、データ管理を成功に不可欠なものと考えているため、以下の質問は必須です。

• データのボトルネック、サイロ化、品質上の問題が業務に支障をきたしていませんか？
• データ管理に拡張性と俊敏性の向上が必要ですか？
• 中央集権的なアプローチ、それとも分散的なアプローチがいいでしょうか？

データメッシュは、それを使うデータ使用者がいてこそ成り立ちます。

データプラットフォームのチームに以下の質問をして、切り替えるべきかどうかを確認してください：

• あなたのチームは、ドメイン固有の強い知識を持っていますか？
• ドメイン固有の知識はどの程度バラエティに富んでいますか？
• あなたのチームは、データを製品として所有する準備ができていると思いますか？

これらの質問に「いいえ」と答えたとしても、データメッシュを作れないわけではありません。 準備不足は後々絶対に問題になるからです。

データメッシュとは、 、データ管理システムと同じくらい哲学的なものです。 実施するには、成功へのコミットメント、協力、決意が必要です。

• 組織の文化は、分権原則に合致していますか？
• チームは、データのオーナーシップとコラボレーションに向けた文化的転換を受け入れる意志がありますか？
• チームは、データを管理・配布する際に、迅速かつ積極的に対応していますか？

データメッシュはデータレイクよりも監視が必要です。 データメッシュを維持するためのリソースがないと思うなら、データメッシュに飛びつく必要はありません。

• セルフサービスインフラやガバナンスフレームワークに投資するリソースがありますか？
• 組織はデータ管理を改善するための継続的なサポートと改善に取り組んでいますか？
• データメッシュ構造を作成するために使用したいリソースが、わかりますか？

データメッシュに関する上記の質問に答え、データメッシュを実装したいと思ったら、実装について検討する時です。 セルフサービスデータプラットフォームの構築は、その規模の大きさゆえに困難に思えるかもしれませんが、ステップを絞り込むことができます。

最初のステップは、データをデータ製品として扱うことです。

組織の準備態勢を評価するには、主要な領域と利害関係者を特定する必要があります。 ビジネスで何を達成しようとしているのか、そして、その目標からどのように遠ざかっていますか。

データメッシュを確立する際には、ドメインチームが役割と責任を明確にする必要があります。 あるチームはデータの収集を担当し、他のチームはそれを分析してビジネス上の意思決定を行うかもしれません。

ドメインチームのトレーニングとオンボーディングは、円滑に機能するセルフサービスデータプラットフォームを構築するために不可欠です。 よく計画された研修プログラムは、従業員のエンゲージメントを高めます。 データメッシュがいかにユーザ重視のアプローチであるかを考えれば、ユーザに投資し続けることが最善の利益となります。

ドメインチームがどのように機能するか、そして全体的なビジネスゴールについて良い考えを持ったら、次はセルフサービス・データインフラを構築する番です。 この段階で、ドメインデータの管理に役立つ様々なツールやプラットフォームの選択を開始します。

スケーラビリティと柔軟性を可能にするツールを優先すべきでしょう。 例えば、必要に応じて拡張できるクラウド・ストレージソリューションや、ドメインデータに対するより深い洞察を提供するソリューション等です。 またセンシティブな活動を継続的に分析するセキュリティ・サービスに目を向けることもできます。

データ製品には一貫したガバナンスとコンプライアンスが必要です。

ガバナンスフレームワークの開発には、各ドメインチームの基準作成が含まれます。 例えばチームでの役割に応じて、特定のアクセスや権限を与えることができます。 時間をかけてデータ品質、セキュリティ、相互運用性のポリシーを確立することで、ドメインデータの安全性と有用性を維持することができます。

データメッシュの機能を理解するにつれて、実装に全力を尽くす必要はなくなります。

パイロットプロジェクトから始めることで、フィードバックを集め、継続的に改善することができます。 実際に中央データチームが欲しかったと気づくかもしれませんし、データサイエンティストには独自のドメインチームが必要だと気づくかもしれません。 他のビジネスやデータへの取り組み方から学ぶことはできますが、試行錯誤からしか得られない知識もあります。

データメッシュの構築は一人で行う必要はありません 実際、データメッシュは本質的に 、人間的なアプローチを通じてデータ製品を変革する共同作業となるように設計されています。

私たちは包括的なデータ・ソリューションによってデータにアクセスし、効果的に活用する手段を提供します。 スケーラブルで信頼性の高いデータインフラを構築するため、データ管理と統合における高度な機能を提供します。 当社のクラウドファーストのデータプラットフォームは、便利で、安全で、一貫性のあるデータアクセス能力を提供します。

InterSystemsの高度なデータプラットフォームは、分散型データ管理のサポートを含め、セルフサービス型のデータインフラの構築とメンテナンスを容易にします。 当社は長年にわたり、医療施設、海運会社、投資銀行などの企業のデータ管理と整理を支援してきました。

当社がデータのサイロ化とデータ主導の意思決定で支援したお客様にはチャドウィックス・グループ、村田機械、 チェス・ロジスティクス・テクノロジー 等があります。

InterSystemsは、継続的な改善とデータテクノロジーの最前線に立ち続けることに専念しています。

データメッシュのパラダイムを構築する準備が整いましたら、インターシステムズまでご連絡ください。