データレイクとは、基本的に情報リポジトリのことであり、データウェアハウスと混同されることがよくあります。しかし、両者は全く異なるビジネスを扱い、異なる分野に対応しており、アーキテクチャも異なります。あらゆる要素を考慮すると、ソーシャルデータ、IoT（モノのインターネット）マシンデータ、トランザクションデータの増加が加速し続けているという事実から、クラウドデータレイクが現代のデータ管理戦略の不可欠な要素であることは驚くべきことではありません。クラウドデータレイクは、あらゆる種類のデータを保存、変換、分析する重要な機能を備えており、新たなビジネスチャンスとデジタルトランスフォーメーションへの道を切り開きます。これは、SAP DATA LAKEが果たす多くの役割の一つです。
データレイクの定義
AnSAPデータレイクは、データサイロに関連する問題の解決に役立つ中央データリポジトリです。最も重要なのは、膨大な量の生データがネイティブ形式または元の形式でデータレイクに保存されることです。この形式は、構造化、非構造化、または半構造化のいずれかです。データレイクは費用対効果が高く、容易に拡張でき、特にクラウド上にあるものは、応用機械学習分析と併用できます。
もう一つ注目すべき点は、データウェアハウスとデータレイクは互いに補完し合うことが多いということです。進化を続けるコンセプトの一つに、従来のSAPデータレイクにデータ管理機能を提供するデータレイクハウスがあります。つまり、基本的にはデータレイクとデータウェアハウスを組み合わせたものと言えます。
データの種類とプロセスの違いについては留意する必要がありますが、データ レイクとデータ ウェアハウス ソリューションを比較すると、次のような詳細があります。
データレイクソリューションの必須要素
- データの移動：データレイクを使用すれば、複数のソースからあらゆるタイプのデータをネイティブフォーマットでインポートできます。これにより、企業はデータ構造、スキーマ、変換を定義する必要がなく、必要に応じてデータサイズを拡張でき、結果として大幅なコスト削減につながります。
- データの安全な保管： データレイクは、CRMやERPソフトウェア、IoTデバイス、ソーシャルメディアなどのビジネスデータなど、様々なソースから、構造化データ、半構造化データ、非構造化データの形式でデータを保管できます。レガシーシステムの履歴データも問題なく保管できます。さらに、データレイクは、ガバナンス、セキュリティ、そして制御を適用しながら、バッチデータやストリーミングデータを取得することも可能にします。
- 分析と機械学習： データレイクを利用することで、ロールベースの情報アクセスが可能になり、分析や機械学習分析を実行できます。データを別の分析データベースに移動する必要はありません。履歴データとリアルタイムデータを組み合わせることで、機械学習や予測分析モデルを改良し、より優れた、あるいは新たな結果を提供することができます。
さまざまな種類のデータレイク
データ レイクにはさまざまな種類があり、オンプレミス、クラウド、その両方のハイブリッド、Amazon Web Services (AWS)、Microsoft Azure、Google Cloud などの複数のクラウド形式に配置できます。
最も人気のあるデータレイクの1つはクラウドデータレイクです。これは、必要なすべてのデータレイク機能を提供しながら、フルマネージドのクラウドサービスとして提供されるデータレイクです。
- オンプレミス型データレイク： オンプレミス型データレイクでは、社内のITエンジニアリングリソースを活用してハードウェア、ソフトウェア、プロセスを管理できます。このアプローチでは、設備投資額が高額になるだけでなく、データがサイロ化される傾向があります。
- クラウドデータレイク： これは最も人気のあるデータレイクの一つです。クラウドデータレイクでは、オンプレミスのインフラストラクチャがアウトソーシングされるため、運用コストは高くなりますが、この導入アプローチにより、企業はより容易に拡張できるなど、多くのメリットが得られます。
- ハイブリッドデータレイク： オンプレミスとクラウドの両方のデータレイクを同時に運用する企業が多く見られます。これはオンプレミスからクラウドへの移行シナリオでよく見られる状況で、実際に発生することは非常に稀です。
- マルチクラウド・データレイク： マルチクラウド・データレイクとは、2つ以上のクラウドサービスを組み合わせたものです。例えば、企業はクラウド・データレイクの管理と保守にAWSとAzureを選択する場合があります。このプロセスでは、これら2つの異なるプラットフォームが相互に効果的に通信できるようにするための専門知識が求められます。
クラウドデータレイクのメリット
なぜデータレイクを選ぶべきなのか疑問に思われるかもしれません。データをデジタルトランスフォーメーションを推進する価値の高いビジネス資産に変えたいと考えているなら、まさにデータレイクこそが最適な選択肢です。クラウドデータレイクを活用することで、企業は過去のデータに分析を適用できます。さらに、ログファイル、クリックストリーム、ソーシャルメディア、インターネット接続デバイスなど、新たなデータソースから実用的なインサイトを獲得することも可能です。
- コスト効率: クラウド ストレージでは、コスト効率に優れた幅広いストレージおよび価格設定オプションが利用できます。
- 自動スケーリング:企業がオンデマンドでストレージ容量を計算して利用できるようにするスケーリング機能は、クラウド ストレージが提供するものです。
- 高いデータ セキュリティ: クラウド ストレージでは、データの高度なセキュリティが保証されます。
- 分析機能の向上により、新たな洞察とビジネス成果の向上が実現します。 クラウドデータレイクと連携することで、新たな方法でデータを組み合わせることができます。IoTデータの分析を通じて運用効率を向上させるオプションも用意されています。
