การใช้งานรุ่น AI / ML ด้วย MLflow & Kubernetes: จากการทดลองไปจนถึงการใช้งานระดับองค์กร

- Written by Shashi Prakash Patel

My Introduction:

ฉันเป็น Shashi Patel จากทีมขายที่ปรึกษา

ฉันได้ใช้อาชีพของฉันในการขายและการพัฒนาธุรกิจเชี่ยวชาญด้านบริการด้านไอทีและโซลูชั่นการทํางานของพนักงาน ฉันมีปริญญาโทในแอพพลิเคชันคอมพิวเตอร์ (MCA) และในระหว่างนั้นฉันได้ลึกซึ้งความเข้าใจของฉันเกี่ยวกับวิทยาศาสตร์ข้อมูลและ AI ผ่านการเรียนรู้ที่ทุ่มเท ฐานทางเทคนิคนี้ช่วยให้ฉันสามารถเชื่อมต่อจุดระหว่างนวัตกรรมที่ขับเคลื่อนด้วย AI และความท้าทายทางธุรกิจในโลกจริง - สิ่งที่ฉันมักจะมีความรัก

อย่างไรก็ตามฉันมักรู้สึกว่าศักยภาพของฉันถูก จํากัด โดยขีด จํากัด ของบทบาทปัจจุบันของฉัน มีมากเกินไปที่ฉันสามารถมีส่วนร่วมโดยเฉพาะอย่างยิ่งที่จุดเชื่อมโยงของเทคโนโลยีและกลยุทธ์ทางธุรกิจ ฉันเชื่อว่าเมื่อมีโอกาสผมสามารถสะสมความแตกต่างระหว่างเทคโนโลยีขั้นสูงและผลกระทบทางธุรกิจ

นี่คือสิ่งที่แรงจูงใจฉันที่จะออกจากโซนความสะดวกสบายของฉันและเขียนบล็อกนี้ - สิ่งที่ฉันไม่เคยทําก่อน มันเป็นวิธีของฉันที่จะแสดงให้เห็นว่าฉันไม่ได้เป็นเพียงคนที่ขายเทคโนโลยี - ฉันเข้าใจมันฉันมีความกระตือรือร้นเกี่ยวกับมันและฉันต้องการที่จะมีบทบาทที่แข็งแกร่งมากขึ้นในการสร้างอนาคตของมัน บล็อกนี้เป็นขั้นตอนแรกของฉันเพื่อขยายขอบเขตอาชีพของฉันและแบ่งปันความเห็นของฉันกับชุมชนเทคโนโลยีทั่วโลก

Intelligence Artificial และ Machine Learning (AI / ML) เป็นอุตสาหกรรมที่เปลี่ยนแปลง แต่การใช้งานโมเดลเหล่านี้เข้าสู่การผลิตยังคงเป็นความท้าทายที่ซับซ้อน หลังจากใช้เวลาหลายปีในการขายไอทีในขณะที่เจาะลึกเข้าไปในวิทยาศาสตร์ข้อมูลและแนวคิด Gen AI ฉันได้เห็นด้วยมือแรกว่าการปรับแต่งท่อการใช้งานสามารถสร้างหรือทําลายความสําเร็จของโครงการได้อย่างไร ในบล็อกนี้ฉันจะสํารวจวิธีการMLflowและKubernetesรวมกันเพื่อสร้างสภาพแวดล้อมที่แข็งแกร่งและสามารถปรับขนาดได้สําหรับการใช้งานรุ่น AI / ML - และทําไมคู่นี้จะได้รับแรงบันดาลใจในชุมชนเทคโนโลยี

What is AI/ML Model Deployment with MLflow & Kubernetes?

1AI/ML Model Deploymentเป็นกระบวนการของการใช้รุ่นการเรียนรู้เครื่องที่ได้รับการฝึกอบรมและทําให้สามารถใช้งานได้ในโลกจริง ไม่ว่าจะเป็นการคาดการณ์พฤติกรรมของลูกค้าการเพิ่มประสิทธิภาพของโซ่ซัพพลายหรือการตรวจจับการโกง อย่างไรก็ตามนี่ไม่ใช่เพียงแค่กระตุ้นรหัสเข้าสู่การผลิต มันต้องจัดการ:

โซฟา
• การใช้รุ่น: ตรวจสอบให้แน่ใจว่ามีการใช้รุ่นรุ่นที่ถูกต้อง
โซฟา
• ความยืดหยุ่น: การปรับตัวเข้าสู่การไหลเวียนโดยไม่ต้องลดประสิทธิภาพ
โซฟา
• การตรวจสอบ: การติดตามประสิทธิภาพเพื่อป้องกันปัญหาเช่นการไหลของรูปแบบตามเวลา
โซฟา

โซฟา
2. MLflow เป็นแพลตฟอร์ม open-source ที่ช่วยให้การจัดการวงจรชีวิตการเรียนรู้เครื่องง่ายขึ้น – จากการทดลองและการติดตามไปจนถึงการใช้งานและการตรวจสอบ มันช่วยให้สามารถทําซ้ําได้ในขณะที่ให้เครื่องมือในการแพคเกจและการใช้งานรุ่น
โซฟา
3. Kubernetes (K8s) เป็นแพลตฟอร์มการจัดระเบียบคอนเทนเนอร์ที่ทําให้การใช้งานโมเดลในขนาดง่ายและเชื่อถือได้ มันจัดการโครงสร้างพื้นฐานที่อยู่เบื้องหลังการใช้งาน AI การจัดการงานเช่นการปรับขนาดอัตโนมัติการสมดุลโหลดและการรักษาตนเอง
โซฟา

Why use them together?

MLflow จัดการวงจรชีวิตของรุ่นเพื่อให้แน่ใจว่าการทดลองแต่ละครั้งสามารถติดตามและทําซ้ําได้ในขณะที่ Kubernetes จัดการการใช้งานและปรับขนาดของรุ่นได้อย่างราบรื่น ร่วมกันพวกเขาสร้างท่อที่เรียบง่ายซึ่งคุณสามารถ:

โซฟา
• แบบติดตามและแพคเกจใน MLflow
โซฟา
• บรรจุรูปแบบ (เช่นด้วย Docker)
โซฟา
• การใช้และจัดการภาชนะโดยใช้ Kubernetes
โซฟา

การรวมกันนี้ช่วยให้มั่นใจว่ารุ่นไม่เพียง แต่ทํางานในสภาพแวดล้อมการพัฒนา แต่ยังทํางานได้อย่างน่าเชื่อถือในการผลิตในทุกขนาด

Why AI/ML Model Deployment is Hard

การเดินทางจากการฝึกอบรมรูปแบบจนถึงการใช้งานในขนาดใหญ่นําเสนอความท้าทายหลายประการ:

โซฟา
• การควบคุมเวอร์ชัน: การจัดการหลายรุ่นและตรวจสอบให้แน่ใจว่ามีการใช้เวอร์ชันที่ถูกต้อง
โซฟา
• ความยืดหยุ่น: การจัดการกับชุดข้อมูลที่เติบโตและโหลดการจราจรที่แตกต่างกัน
โซฟา
• ความสามารถในการทําซ้ํา: การรับประกันประสิทธิภาพที่สม่ําเสมอในทุกสภาพแวดล้อม
โซฟา
• การตรวจสอบและการบํารุงรักษา: การติดตามประสิทธิภาพอย่างต่อเนื่องและตรวจจับการไหลของรูปแบบ
โซฟา

นี่คือที่MLflowและKubernetesสะดวกง่ายกระบวนการใช้งานในขณะที่มั่นใจได้ถึงความยืดหยุ่นในการดําเนินงาน

MLflow: การจัดการวงจรชีวิตของรุ่น

MLflowแก้ไขบางส่วนของจุดเจ็บปวดที่สําคัญที่สุดในวงจรชีวิต AI / ML โดยการเสนอ:

โซฟา
• การติดตามการทดลอง: บันทึกพารามิเตอร์เมตริกและวัตถุประสงค์เพื่อติดตามประสิทธิภาพในการทดลอง
โซฟา
• บรรจุภัณฑ์แบบจําลอง: ช่วยให้มั่นใจได้ว่ารุ่นจะบรรจุด้วยความเสี่ยงเพื่อให้สามารถใช้งานได้อย่างราบรื่น
โซฟา
• รายชื่อแบบจําลอง: Centralizes model versioning และช่วยให้การทํางานร่วมกันได้อย่างราบรื่นระหว่างทีม
โซฟา

ในความเป็นจริง MLflow นําโครงสร้างและความสามารถในการติดตามไปสู่กระบวนการที่ผิดปกติในการสร้างรูปแบบ AI

Kubernetes: Scaling Model Deployment

เมื่อรูปแบบของคุณพร้อมแล้วKubernetesให้แน่ใจว่ามันทํางานได้อย่างน่าเชื่อถือในการผลิต มันอัตโนมัติหลายแง่มุมสําคัญ:

โซฟา
• การปรับขนาดอัตโนมัติ: กําหนดทรัพยากรตามการจราจรเพื่อให้มั่นใจได้ถึงประสิทธิภาพและการประหยัดค่าใช้จ่าย
โซฟา
• ความสามารถในการพกพา: ให้มั่นใจว่ากระบวนการใช้งานเดียวกันในระหว่างการพัฒนาการทดสอบและการผลิต
โซฟา
• ความยืดหยุ่น: รีสตาร์ทคอนเทนเนอร์ที่ล้มเหลวโดยอัตโนมัติเพื่อให้แน่ใจว่ามีความพร้อมใช้งานสูง
โซฟา

โดย leveragingKubernetes, AI/MLทีมสามารถใช้โมเดลครั้งเดียวและไว้วางใจระบบในการจัดการการปรับขนาดและการจัดการโครงสร้างพื้นฐานช่วยให้พวกเขาสามารถมุ่งเน้นไปที่การปรับปรุงโมเดลเอง

Why This Matters for Business

จากมุมมองทางธุรกิจ adopting MLflow และ Kubernetes drives:

โซฟา
• Faster Time-to-Market: Automating the pipeline reduces deployment cycles.
โซฟา
• ความยืดหยุ่นในการดําเนินงาน: Kubernetes ให้เวลาหยุดทํางานน้อยที่สุดเพื่อเพิ่มความน่าเชื่อถือ
โซฟา
• ประหยัดค่าใช้จ่าย: การปรับขนาดอัตโนมัติช่วยเพิ่มค่าใช้จ่ายของโครงสร้างพื้นฐาน
โซฟา
• นวัตกรรมอย่างต่อเนื่อง: ท่อ CI / CD ช่วยให้การทดลองและ iteration ได้อย่างรวดเร็ว
โซฟา

Conclusion: Driving AI at Scale

Deploying AI/MLรูปแบบไม่ได้เกี่ยวกับการนําโค้ดเข้าสู่การผลิต - มันเกี่ยวกับการสร้างscalable, reproducible, and resilient systemsซึ่งสอดคล้องกับเป้าหมายทางธุรกิจMLflowและKubernetesให้การรวมกันที่แข็งแกร่งเพื่อให้การจัดการแบบจําลองง่ายขึ้นและรับประกันประสิทธิภาพการผลิตที่เชื่อถือได้

ในฐานะที่เป็นคนที่มีความกระตือรือร้นเกี่ยวกับผลกระทบของเทคโนโลยีต่อธุรกิจฉันเห็นว่าเครื่องมือเหล่านี้เป็นสิ่งจําเป็นในการสะสมความแตกต่างระหว่างโรงแรมovation and real-world impact

บทความนี้โดย Shashi Prakash Patel ถูกวางไว้เป็น Runner-up ใน รอบ 1 ของ R Systems Blogbook: Chapter 1.