MLOpsにおける5つの課題

by Canonical on 10 May 2023

ChatGPTが軌道に乗って以来、AI/ML市場の人気が一気に上昇しました。しかし、そんなに簡単にプロジェクトを始められるのでしょうか？ そもそも大規模にAIを導入するには何が必要なのでしょうか？ 機械学習のワークフローを自動化するのが MLOps（Machine Learning Operations）です。

MLOpsを導入するには（DevOpsと同様）、異なる考え方や作業方法を受け入れる必要があります。しかし、MLOpsやDevOpsの投資効果はその労力に値します。全体を見ると、2つの点を考慮する必要があります。まず、MLOpsは比較的新しい概念なので、導入の過程で困難に直面するのは当然です。しかし一方、MLOpsは非常に速いスピードで進化しているため、毎日のように新しいソリューションが生まれています。このブログでは、企業が一般に抱える問題、そしてその解決方法について検討します。次のような疑問について掘り下げてみましょう。

MLOpsの課題1：人材不足

Glassdoorでは、さまざまなレベルの経験、学習、スキルを必要とするデータサイエンス関連の求人が3万件、MLエンジニア関連の求人が1万5,000件も見つかります。データサイエンスに関わる仕事は非常に条件が良く、求人も豊富です。

このデータを別の角度から分析すると、企業は機械学習プロジェクトを進めるため、労働力にも投資していることがわかります。AIプロジェクトを優先し、設備だけでなく人材にも投資しているのです。しかし、これによって優秀な人材の採用や、MLやデータサイエンスに特化したチームの定着にも問題が生じています。人材不足と従業員の離職は、MLプロジェクトの遂行や新しいプロジェクトの準備時間にも影響を及ぼします。

業界には競争があるため、この問題の解決は容易ではありませんが、リモート社員として高スキルの人材を確保するのも1つの手です。また、インターンシップや大学院課程を通じて、社内でスキルを磨くことができる若い人材を検討するのも良いでしょう。そのような長期的な戦略ではなく、短期的な解決策として、人材紹介会社のコンサルティングサービスを利用してAIの導入に着手することもできます。自社の準備レベルに応じて、具体的な用途、MLOpsアーキテクチャ、あるいは概念実証についてアドバイスを求めましょう。

詳細はこちら

MLOpsの課題2：立ち上げ

多くの企業にとってはAIプロジェクトに着手すること自体が大仕事です。

AIの導入は新しいビジネスの開始と同じです。次の3つの質問に答えれば、具体的に何が目的なのかを明確に把握できます。

• 解決しようとする問題は何か？
• 現実的な期待事項があるのか？
• 適切なデータはあるか？

つまり、AIプロジェクトを開始するには、まずゴールを意識し、それに向かってプロセスを構築することです。次に、AIに対する自社の準備度を評価し、独自の計画を立てます。欠けている要素、重要な要素、よくある落とし穴、インフラストラクチャの課題などを考慮すれば、自社にどれだけの準備があるかを詳細に理解できます。また、そのような検討はAIプロジェクト全体の計画にも役立ちます。最終的には、そこからチームの優先事項、予算、適切なスケジュールを作成します。

MLOpsの課題3：データ

データはあらゆるAIプロジェクトの中心であり、プロジェクトの成否を決める重要な要素です。データの品質とデータのアクセスポイントのどちらを評価する場合でも、妥当性チェックは必須です。データは今では至るところにあるように見えますが、多くの企業ではこれまで必ずしも優先されてきませんでした。そのため、データ収集のプロセスが明確に定義されず、データの質も一貫性も高くありません。

データの準備はそれほど容易ではないのです。データのガバナンス、収集、保存に関して、組織は大きな課題に直面することがあります。多くの場合、データは複数のソースから収集されるため、値や形式にばらつきが生じます。言い換えれば、機械学習モデルはそのような扱いの難しい大量のデータに依存しています。

データの問題を解決することには、さまざまなレベルで多くの意味があります。したがってデータを丁寧に扱うことが、成功の秘訣と言えます。データの不一致を抑え、データストレージを一元管理することで、データの準備が容易になります。また、データのバージョン管理は、データの変更によって生じる問題を防ぎます。

MLOpsの課題4：セキュリティ

多くの場合、機械学習は非常に機密性の高いデータやプロジェクトに基づいて運用されています。したがって、プロジェクトを長期的な成功に導くには、安全な環境の確保が不可欠です。IBMが最近発表したAIの導入に関するレポートでは、5社に1社がデータセキュリティの確保が難しいと感じています。この問題に取り組む人の数も増え、回答者の25%がセキュリティの専門家でした。

セキュリティに関して最も一般的な問題の1つが、時代遅れのライブラリです。複数の脆弱性が攻撃のチャンスを与えていることに、ユーザーが気づいていない場合もあります。

もうひとつセキュリティの穴となるのが、適切に保護されていないモデルのエンドポイントやデータパイプラインです。ここから不特定多数の人がデータにアクセスし、機密性の高いメタデータが第三者に漏洩する恐れがあります。エンドポイントとは開発環境であり、明確なセキュリティ基準を持ち、プロジェクトだけでなくデータのセキュリティも確保することが重要です。

セキュリティはどのようなMLOps環境でも問題となります。したがって、プロジェクトの存続と実環境への導入には、セキュリティパッチとサポートを提供するソフトウェアが不可欠です。また、マルチテナンシーオプションを備えたツールを使用することで、内部環境やデータのプライバシーのほか、一般大衆に対して機密性を確保すべき多様なプロジェクトの安全性を確保できます。

MLOpsの課題5：規模の拡大

McKinseyが2022年に発表したAIの現状に関するレポートによれば、多くの組織がすでにAIの実験段階を終え、企業アプリケーションに積極的に組み込んでいます。企業がAIプロジェクトに強い意欲を持っていることは確かですが、企業がどれだけの知識や大規模な運用の能力を持っているかには多くの疑問が残ります。モデルのデプロイや監視のワークフロー、ツール、プロジェクトをサポートするインフラストラクチャなど、企業は迅速に適応し、新しいプロセスを習得する必要があります。

機械学習では、オープンソースが好まれる傾向があります。利用可能なオープンソースのプラットフォームとしては、Charmed KubeflowのようなエンドツーエンドのMLOpsプラットフォームが挙げられます。Charmed Kubeflowは、データサイエンティストがよく使うツール群を備えており、自動化、モニタリング、アラート、統合、デプロイといった規模の拡大に関する複数のニーズに対応しています。最も一般的なMLOpsの課題を解決するのに最適な製品です。

MLOpsの詳細

• [ウェビナー] Intro to MLOps（MLOpsの概要）
• [ウェビナー] Hyperparameter tuning with MLOps platform（MLOpsプラットフォームを使用したハイパーパラメータ調整）
• [ホワイトペーパー] MLOpsガイド