2019年は、データマネージメント業界にとって確実に驚きの年になると言われています。私はそれについて完全なクリアな展望を持ってはいませんが、いくつか予測していることがあります。2019年のデータマネージメントにおける私の５つの予測事項をここに記します。
AIは、ガバナンスに合致する― AI（人工知能）とML（機械学習）について、ここ数年多くの議論がありました。AIとMLは大きく報じられましたが、真の潜在的利点と技術適用は、どこにでも見ることができたと思います。しかし、これは、まだ初期段階を脱していないと言えます。2018年の研究で、マッキンゼーは、160のAIユーザケースを調べましたが、実験的ステージ以上の成果があったのは、ほんの12%にすぎませんでした。
機械学習の適用は、ガバナンス・リスクとコンプライアンス（GRC）のアプリケーションに見ることができますが、皮肉なことに、MLアプリケーションの多くは、それ自体ガバナンスに欠けています。例えば、EUの一般データ保護規則（GDPR）の要求では、「説明可能（explainability）」は、使用可能なMLアルゴリズムの種類を制限しています。また、機会学習処理で最も重要なデータへのアクセスについては、論争が起きており、データサイエンティスト（全データへのアクセス制限なしを望む）とIT部門（データ保護とセキュリティ規則遵守維持を求める）間での衝突を招いています。
私は、これは2019年に頂点に達すると予測しています。組織は、この問題を認識し始め、データのセキュリティを保持、遵守しようというソリューションを求める一方、データサイエンティストには、適正なアクセスを与えます。
エンタープライズ・データ・プラットフォームは、― データレイクは、2010年より見られるようになり、組織は、Hadoopをベースにしたデータレイク技術の採用に躍起になりました。組織全体の統一データアクセスというビジョンに促進されて、レガシー企業が近代的なデータ駆動型企業に変革しています。しかし、現実は、そのビジョンから遠くかけ離れ、データレイクプロジェクトは、たくさんのデータの泥沼を生み出しています。
過去1年に渡り、データの完全性、データ駆動型アプリケーションの迅速な開発など、昔ながらの懸念に、より多くの注目が注がれたと感じています。また、エンタープライズ・データ・プラットフォーム（EDP）という新しい異なる用語が創り出されたと気づきました。これが、2019年には、標準的な用語になると私は予測いており、より多くの組織が、デジタル変革へのこのアプローチに舵を切るように思います。
IDC は、2018年12月に エンタープライズ・データ・プラットフォームの出現に関するレポートを出しました。「EDPテクノロジによって、ユーザと開発者は、そこに生きているデータを発見し活用することができ、それを意味ある場所で統合し、データを理解し、その意味を記録し、より頻繁でよりよい分析を行い、ある場合はプラットフォームのデータに基づいて、データ駆動型組を作り出すことができる」と、IDCのデータマネジメントソフトウェアリサーチ バイスプレジデントであるカール・オロフソン（Carl Olofson）氏は述べています。「それによるビジネス価値は、洞察を得てより包括的なビジネス意思決定の時間の短縮、AI/ML 運用をサポートするよりよいデータ運用、よりアジャイルな企業などを実現します。」
データの人間化というトレンドは、隆盛になります。「データの人間化」は、2019年のデータ管理イニチアチブの少なくとも20%を占めるようになると、私は考えます。
こうしたトレンドは、「 大量破壊兵器（Weapons of Math Destruction）」の本の中で強調されているような、よくビジネスや社会的にマイナスの影響をもつ客観的で不明瞭な分析に対する単なる反動ではありません。データの人間化には、コンテキストを付加する必要があります。これには、簡単なアクセス、解釈にヒューマンタッチが必要だと認識されています。
この考え方から多くのよい事が得られます。
・量と同様にデータの品質を考慮することで、よりよいアウトカム、よりよい決定に繋がり、無意識のバイアスが減る
・個々のお客様についてのより多くのデータを活用することで、より完全な絵が得られ、予測できない規模でのカスタマイズした顧客サービスや製品の提供が可能
・直観的に使えるツールで幅広いオーディエンスがデータにアクセス可能になることで、賢く常識的な考えがもてる
しかし、こうしたトレンドはまた、多くの組織が準備ができる前に、データ分析の知識と感性のハードルを上げることになります。チーフデータオフィサー（CDO）、データプラットフォーム戦略、進んだ分析能力を既にもつ組織は、データの人間化は、自然な次のステップだと理解することでしょう。データのはしごの最初の段を掴んだばかりの人にとっては、彼らのプロジェクトに新しいレベルの複雑性と曖昧さが加わり、気落ちするかもしれません。
情報管理は、データの人間化に取り組むについて変化していきます。コンテキストを入れるには、データ管理に対する異なるデータ構造またはマルチモデルアプローチがしばしば求められる関連データが必要です。大量のデータを探索し理解しようとうるイニチアチブは、データの多様な見える化と同じデータ上で分析が可能な高性能データプラットフォームが必要です。データ品質評価は、ソースの上手なコントロール、パイプライン処理、データの存在があればより簡単になります。より完全なビューを得るには、大量の履歴データを処理しなければならない場合があります。
DataOpsがETLを凌駕
“DataOps”という言葉が出てきたのは、ここ5年以内だと思いますが、すでによく認知されるようになっています。初めて聞かれる方に説明すると、DataOpsとは、アジャイルソフトウェア開発、DevOps、静的なデータ分析のプロセス制御という考え方と技術に適用するすべてのデータのライフサイクルに対するアプローチです。
DataOpsは、2018年ガートナーのデータマネージメント・ハイプサイクルで、初めて登場しました。2019年には、DataOps手法は、これまでのETL手法よりも、組織のデータ管理に大きな部分を占めていくと、私は予測しています。
DataOpsは、ETLを包含すると考える方もいるかもしれませんが、私は、これは、よりアジャイルで統合されたデータ統合の新しい手法だと考えています。ETLは、バッチ処理で、開発と維持に大きな負荷のあるもので、特定のデータ統合ベンダーの事業領域です。DataOpsアプローチでは、バッチとリアルタイムデータインテグレーションが、同じ開発プラットフォームと同じ計算・データインフラを使って行うことが可能です。
データベースの拡大は、マルチモデルの認知度を上げる結果となる
異なるデータモデルを使用するケースは、No.SQLデータベースの出現以来、ここ10年以上に渡り増え続けています。私は、5-6の異なる製品を横断して5-6の異なるデータモデルを使用するといった、複数の異なるデータストアを使うアプリケーションに、よく出くわします。これは、多くのコストと複雑性増加させ、異なる製品間で不完全にシンクロされた重複データの不一致という危険性について触れていません。
マルチモデルデータベースは、2つ以上の異なるデータモデル、データ型を同じアプリケーションでサポートしたいと考える方には、魅力的な選択肢です。マルチモデルデータベースは、複数製品を統合した「ポリグロット・パーシスタンス」アプローチに対して、いくつかの良い点を提供します。それは、シンプルさ、単一製品によるコスト削減、市場投入時間の短縮、開発・維持管理・サポートコストの削減です。
私は、 マルチモデルデータベースが、2019年には、すべての主要なアナリストの方から認知されるカテゴリになると予測しています。データベースの拡大は、大きすぎる痛みにすぎず、手当が必要です。
私から、皆様へのお伝えする５つの予測は以上です。また1年後に報告を致します。
ジェフ・フライド
インターシステムズ プロダクト・マネージメント ディレクタ。長期に渡りデータ管理の分野に注力し、特に、優れたデータ駆動型アプリケーション開発に情熱をもって支援をしている。インターシステムズに入社以前は、BA Insight、Empirix、TeloquentでCTOを務め、また、FAST Search、Transfer、Microsoftで、プロダクト・マネージメントを率いた。データマネージメント、テキスト分析、エンタープライズサーチ、相互運用性の分野で豊富な経験を持つ。業界で多くの講演や取材を行っており、15の特許をもつ。また、50以上の技術論文の著者であり、3冊の共著がある。
