企業データ管理ガイド

by Canonical on 16 January 2024

オープンソースでビッグデータソリューションを実装するには

ネットワーク環境が急速に進歩し、複雑になるにつれ、企業データ管理チームは難しい課題に直面します。情報セキュリティ、運用コスト、AIのような新しい技術の採用などの問題を抱え、データ管理チームは、いわゆる「ビッグ」データ管理のための経済的で拡張可能なソリューションを必要としています。つまり、多様なビジネスニーズに対応する有効なソリューションです。

本書では、企業データ管理チームのニーズを詳細に検討するとともに、現代のビッグデータ情勢について概説します。また、最近のAI革命と、それが企業データ管理チームに与える影響の観点からビッグデータ管理を考えます。データ管理に対応するCanonicalのData FabricスイートとMLOpsスイートを紹介するとともに、企業での大規模データ管理に対応するCanonicalの2つのオープンソースソリューション、Charmed SparkとCharmed Kafkaについても概説します。

現在のビッグデータ市場情勢

現在のビッグデータ市場では、オープンソースソフトウェアとクラウドベースのSaaS（サービスとしてのソフトウェア）が優勢ですが、これには多くのメリットと課題があります。

無料のオープンソースソフトウェアには、ライセンス料金が不要、アクセスにほぼ制限がない、ユーザーコミュニティが大きいなど多くの利点があります。製品のライセンス料金がないため、ハードウェアさえあれば、開発、試験、実運用環境の構築に制限をかけるものはありません。また、アクセスに制限がないため、ユーザーは即座にソフトウェアにアクセスし、自分のペースで製品を評価できます。ユーザーコミュニティが大きいことは、テクノロジーに関して豊富な知識と経験を得られるという安心感につながります。「ビッグ」データ管理テクノロジーは、主にApache Hadoop、Spark、Kafkaなどのオープンソースプロジェクトを通じて普及しました。

しかし、無料のオープンソースソフトウェアをビッグデータに利用するにはいくつか難点があります。ユーザーは、セキュリティ更新をすぐに利用できるだけでなく、選んだ技術に対して長期的に速やかなサポートがを得られるという保証を求めるからです。

クラウドベースのSaaSにも、便利で使いやすく、スキル不足も補ってくれるなど多くの利点があります。しかし、無料のオープンソースソフトウェアと同様、難点があります。たとえばソリューションの移植性が失われ、総所有コストが予測できない場合があります。また、サプライチェーンにセキュリティリスクがあれば、サプライヤーの能力と成熟性を信頼する必要があります。

ITセキュリティ

現代の企業にとっては、あらゆる重要度のデータを保護することが最優先事項です。企業データ管理システムには、クリプトジャック、クリプトランサムウェア、データ侵害、スパイ行為、改ざん、DoSなど、さまざまなリスクがあります。このような脅威はどれも、評判の低下、知的資産の漏洩、詐欺による直接的な金銭被害など、ビジネスに深刻な被害をもたらします。企業が規制対象であるかどうかを問わず、セキュリティの侵害が企業に法律上の問題を引き起こすこともあります。

企業データ管理がミッションクリティカルになり、複雑になるにつれ、データ処理インフラを効果的に封鎖するために必要なスキルを持つスタッフを見つけることも困難になります。

さらに、セキュリティ体制を維持し、環境を監視する意味で、「通常のビジネス」中にもデータプラットフォームとデータレイクが課題となります。これもテクノロジーの複雑性、インフラの重要性、そしてスタッフ確保の問題が重なるためです。