Skip to Content

什麼是 MLOps?

什麼是 MLOps?

機器學習作業(MLOps)是一套用來將機器學習 (ML) 開發生命週期的端對端管理自動化的實務與工具。MLOps 從 DevOps(開發和營運)借用概念,並應用於機器學習開發和部署的獨特挑戰。MLOps 的主要目標是加強資料科學家、機器學習工程師和營運團隊之間的協作和溝通,以確保機器學習模型能無縫整合到生產環境中。

MLOps 的優勢

MLOps 的優勢包括:

高效率

MLOps 簡化了機器學習生命週期,使其更有效率,並減少了從模型開發到部署所需的時間。

可擴充性

MLOps 實務透過自動化重複性任務,並提供結構化的協作架構,實現機器學習工作流程的擴展。

可靠性

自動化與版本控制有助於機器學習系統的可靠性,將部署過程中發生錯誤的風險降至最低,並確保再現性。

協作

MLOps 鼓勵參與機器學習專案的不同團隊合作,培養共同責任與知識的文化。

適應性

MLOps 能讓組織快速適應模型、資料和需求的改變,確保機器學習系統維持有效和最新狀態。

MLOps 的關鍵要素

除了已經提到的協作、版本控制和自動化之外,MLOps 的其他關鍵元件還包括:

持續整合/持續部署 (CI/CD)

MLOps 將 CI/CD 原則應用於機器學習,實現程式碼變更、模型訓練和部署的自動化和持續整合。

基礎架構即程式碼(IaC)

MLOps 遵循基礎架構作為程式碼(IaC)原則,以確保開發、測試和生產環境的一致性,從而降低部署問題的可能性。

自動化

為資料預先處理、模型訓練、測試和部署等任務建立自動化管道。實施 CI/CD 以自動化整合和部署流程。

模型監控與管理

MLOps 包括用於監控模型效能、漂移偵測和管理生產中模型生命週期的工具與實務。這樣可確保模型能持續保持良好表現,並長期滿足業務需求。

回饋循環

回饋循環是 MLOps 的重要部分,可確保持續改進。對生產中模型效能的回饋可用於重新訓練模型,並隨著時間提升其準確性。

 

線上體驗 FlashBlade

體驗 Pure1® 的自助實例來管理 Pure FlashBlade™,Pure FlashBlade™ 是業界最先進的解決方案,可提供原生橫向擴展的檔案式及物件式儲存功能。

申請試用

實作 MLOps 的最佳做法

實施 MLOps 時,應遵循一些最佳做法。包括:

1. 建立明確的溝通管道

促進資料科學家、機器學習工程師和營運團隊之間的開放溝通。使用協作工具與平台,有效地分享更新、深度資訊與意見回饋。定期舉行跨部門會議,以符合目標、進度和挑戰。

2. 建立全面的文件

記錄整個機器學習流程,包括資料預處理、模型開發和部署流程。清楚概述再現性的相依性、配置和版本資訊。維護基礎架構設定、部署步驟和監控程序的文件。

3. 擁抱 IaC

將基礎架構元件(例如伺服器、資料庫)定義為程式碼,以確保開發、測試和生產環境之間的一致性。使用 Terraform 或 Ansible 等工具,以程式化的方式管理基礎架構變更。

4. 優先進行模型監控

建立健全的監控機制,以追蹤模型效能、偵測漂移並找出異常狀況。實施記錄實務,在機器學習工作流程的每個步驟中擷取相關資訊,以進行疑難排解和稽核。

5. 實施自動化測試

在您的 MLOps 管線中包含單元測試、整合測試和效能測試。

測試不同環境中的行為模式,以及早發現問題,並確保跨部署的一致性。

6. 實現再現性

記錄並追蹤 ML 管道中使用的程式庫、相依性和配置版本。使用 Docker 之類的容器化工具封裝整個環境,使其能夠在不同的系統中重現。

7. 優先考慮安全性

實施資料處理、模型儲存和網路通訊的安全最佳實務。定期更新相依性、執行安全性稽核,並強制執行存取控制。

8. 負責任擴展

設計 MLOps 工作流程以水平擴展,以處理不斷增加的資料量並建立複雜的模型。利用雲端服務來提供可擴充的基礎架構和平行處理功能。使用 Pure Storage Portworx® 等服務,協助優化雲端工作負載。

MLOps 與 AIOps

AIOps(IT 作業的人工智慧)和 MLOps(機器學習作業)是相關但截然不同的技術與資料管理概念。兩者都處理人工智慧和機器學習的運作層面,但它們有不同的重點和目標:

AIOps(IT 作業的人工智慧)

  • 重點:AIOps 主要專注於使用人工智慧和機器學習技術,以優化和改善 IT 營運和基礎架構管理的效能、可靠性和效率。
  • 目標: AIOps 的主要目標包括將任務自動化、預測和預防 IT 事件、監控系統健全狀況、優化資源配置,以及增強整體 IT 基礎架構的效能和可用性。
  • 使用案例:AIOps 常用於 IT 環境,用於網路管理、系統監控、日誌分析,以及事件偵測與回應等任務。

MLOps(機器學習作業)

  • 重點: 另一方面,LOP 特別著重於機器學習模型的作業化,以及機器學習開發生命週期的端對端管理。
  • 目標:MLOps 的主要目標是簡化在生產環境中開發、部署、監控和維護機器學習模型的流程。它強調資料科學家、機器學習工程師和營運團隊之間的協作。
  • 使用案例: MLOps 用於確保機器學習模型在生產中部署和運行順暢。它涉及模型版本、ML CI/CD、模型監控和模型再訓練等實務。

雖然 AIOps 和 MLOps 都涉及在操作環境中使用人工智慧和機器學習,但它們有不同的重點領域。AIOps 的目標是使用 AI 來優化和自動化 IT 操作和基礎架構管理,而 MLOps 則專注於在生產環境中管理和部署機器學習模型。在某些情況下,它們是互補的,因為 AIOps 可以幫助確保基礎基礎架構支援 MLOps 實務,但它們解決了技術和操作的不同方面。

為何選擇適用於 MLOps 的 Pure Storage  

採用 MLOps 實務對於在現今的機器學習專案中取得成功至關重要。MLOps 可確保 ML 專案的效率、可擴充性和再現性,降低故障風險,並提升整體專案成果。

但要成功應用 MLOps,您首先需要一個靈活的 AI-Ready 基礎架構,支援 AI 調度。Pure Storage 提供您所需的產品及解決方案,以因應 AI 工作負載的龐大資料需求。利用 Pure Storage 來加速更快、更有效率、更可靠的模型訓練,進而強化 MLOps 的實作。Pure Storage 技術的整合也有助於優化整體機器學習管道,從而為參與資料驅動計劃的組織提高效能和生產力。

05/2023
Accelerate Work Area Creation for Perforce Users on FlashBlade//S with RapidFile Toolkit
Accelerate time to onboard developers using Perforce and improve productivity by using the RapidFile Toolkit with Pure Storage FlashBlade//S.
白皮書
11 頁面
聯繫我們
問題或建議

如對Pure的產品或認證,有任何的疑問或建議,歡迎與我們聯繫!

預約試用

預約現場示範,親眼看看 Pure 如何幫助您將資料轉化為強大的成果。 

聯絡我們:886-2-3725-7989

媒體:pr@purestorage.com

 

Pure Storage總部

34F, Taipei Nanshan Plaza,

No. 100, Songren Road,

Xinyi District,

Taipei City 110016

Taiwan (R.O.C.)

800-379-7873 (一般資訊)

info@purestorage.com

關閉
您的瀏覽器已不受支援!

較舊版的瀏覽器通常存在安全風險。為讓您使用我們網站時得到最佳體驗,請更新為這些最新瀏覽器其中一個。