AWS से एक साल में $1 मिलियन कैसे कमाएँ

अगर आप इस पेज पर यह सोचकर आए हैं कि आप किसी जल्दी अमीर बनने की योजना से अमीर बन जाएंगे, तो मुझे आपको निराश करने के लिए खेद है। यह लेख इस बारे में बात करेगा कि अपने क्लाउड लागत बिलों को $1 मिलियन तक कैसे कम करें। ऐसा करके, आपने वास्तव में अतिरिक्त एक मिलियन डॉलर का राजस्व अर्जित किया होगा - जिसे आप AWS के साथ अमीर बनने के तरीके पर मेरा ऑनलाइन कोर्स खरीदने में खर्च कर सकते हैं ( कोर्स का लिंक यहाँ है )।

कंपनियों की परियोजनाओं की शुरुआत में क्लाउड लागत को अक्सर अनदेखा कर दिया जाता है और उसका हिसाब नहीं लगाया जाता। 2021 के हाशिकॉर्प सर्वेक्षण में पाया गया कि 2021 में लगभग 40% कंपनियों ने क्लाउड लागत पर ज़रूरत से ज़्यादा खर्च किया [ 1 ]। 2023 में, लगभग सभी कंपनियों (94%) ने स्वीकार किया कि वे क्लाउड पर पैसा बर्बाद कर रही थीं [ 1 ] और क्लाउड लागत का कम से कम 30% बर्बाद हो गया [ 2 ]। 2022 में क्लाउड पर खर्च लगभग $500 बिलियन था - इसलिए हम एक साल में $150 बिलियन बर्बाद होने की बात कर रहे हैं!!

यह न केवल राजस्व की हानि की चिंता है, बल्कि खराब स्थायित्व प्रथाओं की भी चिंता है। 150 बिलियन डॉलर की ऊर्जा बर्बाद!

इन निष्कर्षों में बड़े उद्यमों के साथ-साथ छोटे उद्यम भी शामिल हैं, उच्च-क्लाउड परिपक्वता से लेकर कम-क्लाउड परिपक्वता तक। यह AWS को संदर्भित करता है, लेकिन समान सिद्धांत किसी भी अन्य क्लाउड प्रदाता पर लागू किए जा सकते हैं। इसलिए, यदि आपकी नौकरी का कोई हिस्सा क्लाउड में है, तो यह लेख आपके लिए है।

मैं एक डेटा इंजीनियर के नजरिए से बोल रहा हूं, लेकिन यही सीख अन्य सॉफ्टवेयर इंजीनियरिंग प्रथाओं पर भी लागू की जा सकती है।

आइये इसमें गोता लगाएँ।

एक वर्ष में क्लाउड लागत पर 1 मिलियन डॉलर खर्च करने में क्या लगता है?

इस प्रकार का क्लाउड बिल आमतौर पर बहुत बड़े उद्यमों तक ही सीमित होता है जो लाखों ग्राहकों के साथ वैश्विक स्तर पर काम करते हैं।

आपको एक विचार देने के लिए, स्पार्क ETL जॉब से $1 मिलियन का क्लाउड बिल साल में 365 दिन 24x7 प्रति घंटे ~1.5Tb प्रोसेसिंग के परिणामस्वरूप हो सकता है। एक और उदाहरण एक ऐसा एप्लिकेशन हो सकता है जो दुनिया के कई स्थानों से एक दिन में अरबों अनुरोध प्राप्त करता है।

एक बड़े उद्यम में, इस आकार के सैकड़ों अनुप्रयोग होते हैं - जिसके परिणामस्वरूप क्लाउड-प्रदाताओं के साथ अरबों डॉलर के अनुबंध होते हैं। उदाहरण के लिए, Airbnb ने 2019 के अंत में पाँच वर्षों में क्लाउड संसाधनों पर $1.2 बिलियन खर्च करने की प्रतिबद्धता जताई थी [3 ]।

एक्सपीडिया में हमने अनुकूलन प्रथाओं को लागू करके डेटा प्रोसेसिंग ETL की लागत को घटाकर $1.1 मिलियन प्रति वर्ष कर दिया, जो कि मात्र $100,000 प्रति वर्ष है। यह 91% लागत में कमी है!!

सभी कंपनियों के पास इतने बड़े आकार के अनुप्रयोग नहीं होते, लेकिन कल्पना कीजिए कि आप किसी एक अनुप्रयोग या अपनी पूरी कंपनी के लिए क्लाउड लागत में 90% की कटौती कर सकते हैं।

हम बचत कैसे शुरू करें?

चरण 1: अपनी डिज़ाइन मान्यताओं को चुनौती दें

जाइए और अपने सबसे महंगे अनुप्रयोगों की सूची प्राप्त कीजिए और अपनी डिजाइन मान्यताओं को चुनौती दीजिए ।

• क्या आप एक ऐसा अनुप्रयोग बना रहे हैं जिसमें 99.999% उपलब्धता और उप-मिलीसेकंड विलंबता है, लेकिन वास्तविक रूप से उपयोगकर्ता 99% उपलब्धता और सैकड़ों मिलीसेकंड विलंबता के साथ पर्याप्त होंगे?
• क्या आप अरबों पंक्तियों वाले डेटासेट बना रहे हैं, लेकिन उपयोगकर्ता केवल कुछ मापों के एकत्रीकरण का ही उपयोग करेंगे?
• क्या आप वास्तविक समय में डेटा प्राप्त कर रहे हैं लेकिन डेटा का विश्लेषण दिन में केवल एक बार ही किया जाता है?
• क्या आप हर 10 सेकंड में कैश को रिफ्रेश कर रहे हैं, लेकिन यह केवल दिनों के अनुसार ही बदल रहा है?

ये सभी सवाल सबसे महत्वपूर्ण सवाल पर वापस आते हैं: एप्लीकेशन का उपयोग कैसे किया जाएगा? इसके अस्तित्व के लिए व्यावसायिक मूल्य क्या है? एप्लीकेशन हमें किसी दिए गए लक्ष्य को प्राप्त करने में कैसे मदद कर रहा है?

बेशक, ये सभी उत्तर अक्सर किसी प्रोजेक्ट की शुरुआत में अस्पष्ट होते हैं; लेकिन इसीलिए डिज़ाइन हमेशा एक पुनरावृत्त प्रक्रिया होनी चाहिए - जिससे परिवर्तन यथासंभव सहजता से हो सकें। इंजीनियरों को विकास और परिवर्तन को अपनाना चाहिए, एप्लिकेशन विकास को प्रभाव के साथ संरेखित करना चाहिए।

चरण 2: अपनी आवश्यकताओं के अनुरूप अपने बुनियादी ढांचे के संसाधनों को बेहतर बनाएं

दूसरे चरण में एप्लिकेशन को सही संसाधन उपलब्ध कराना और उसे सही बुनियादी ढांचे के अनुरूप बनाना शामिल है।

एक इंजीनियर के तौर पर, क्लाउड लागत की गणना कैसे की जाती है, इसके बारे में जागरूक रहें। उदाहरण के लिए, AWS स्पॉट इंस्टेंस प्रदान करता है, जहाँ आप क्लस्टर मूल्य के लिए बोली लगा सकते हैं - यह विशेष रूप से उपयोगी है यदि आपके पास दोष-सहिष्णु और लचीले अनुप्रयोग हैं। यदि आप कर सकते हैं तो उनका उपयोग करें - AWS लागत में 90% तक की कमी का दावा करता है [ 4 ]।

कुछ अन्य बातें जिन पर आप विचार करना चाहेंगे वे हैं:

• क्या आप वैश्विक स्तर पर ग्राहकों को सेवा दे रहे हैं या सिर्फ़ एक भौगोलिक क्षेत्र में? क्या आपको वाकई अपने बुनियादी ढांचे को दुनिया भर में फैलाने की ज़रूरत है या आप इसे अपने ग्राहक आधार के नज़दीक स्थापित कर सकते हैं?
• क्या आप अपने क्लस्टर इंस्टेंस को ओवर-प्रोविजन कर रहे हैं? यह सुनिश्चित करने का प्रयास करें कि अनावश्यक लागतों के बिना पीक लोड को संभालने के लिए पर्याप्त क्षमता है। वास्तविक मांग के आधार पर संसाधनों को गतिशील रूप से समायोजित करने के लिए ऑटो-स्केलिंग का उपयोग करें, जिससे निष्क्रिय संसाधनों के लिए अधिक भुगतान को रोका जा सके।
• यदि आप डेटा और स्पार्क के साथ काम कर रहे हैं, तो सुनिश्चित करें कि आप स्पार्क अवधारणाओं और ट्यूनिंग को समझते हैं! यदि आप नहीं समझते हैं, तो निम्नलिखित संसाधनों पर एक नज़र डालें [ 5 ] [ 6 ] [ 7 ] [ 8 ] [ 9 ]।

चरण 3: AWS Graviton इंस्टेंस का उपयोग करें

AWS Graviton इंस्टेंस का उपयोग करने में बहुत कम या कोई कमियां नहीं हैं। AWS ने सबसे अधिक लागत प्रभावी प्रोसेसर बनाने में भारी निवेश किया है। आप इंटेल-आधारित प्रोसेसर से ARM-आधारित प्रोसेसर पर स्विच करके क्लाउड खर्च में 40% तक की कमी पा सकते हैं [ 10 ]।

इसमें केवल एक ही चेतावनी है कि आपके एप्लिकेशन को ARM-आधारित प्रोसेसर के साथ संगत होना चाहिए जिस पर Graviton चलता है। यदि आप RDS या OpenSearch जैसी प्रबंधित सेवा से निपट रहे हैं तो स्विच करने में कोई जटिलता नहीं है - AWS अंतर्निहित OS और एप्लिकेशन संगतता से निपटता है। यदि आप अपना स्वयं का एप्लिकेशन बना रहे हैं, तो आपको उस पैकेज को फिर से संकलित करने की आवश्यकता हो सकती है जो इस बात पर निर्भर करता है कि आप किस भाषा का उपयोग कर रहे हैं - जावा और अन्य भाषाओं में कोई बदलाव की आवश्यकता नहीं है जबकि पायथन में कुछ ध्यान देने की आवश्यकता है।

चरण 4: अपने लागत व्यय पर नज़र रखें और लागत जागरूकता के बारे में शिक्षित करें

अंत में, अप्रत्याशित चोटियों और आश्चर्यों के लिए अपनी लागतों की निगरानी करना न भूलें। आपके आवेदन के दिन 0 पर लागत दिन 170 पर लागत से भिन्न होगी। सुनिश्चित करें कि आप परिवर्तनों पर नज़र रखें, और समझें कि परिवर्तन क्यों हो रहा है: क्या यह S3 संग्रहण लागतों को बढ़ा रहा है या यह सिर्फ़ एक बार की बढ़ोतरी है?

आवश्यक अलर्ट और परिचालन गाइडबुक स्थापित करें !

महत्वपूर्ण रूप से, विभाग, परियोजना या पर्यावरण द्वारा व्यय को ट्रैक करने के लिए लागत आवंटन टैग लागू करें। डेटा दलदल बनाने के जोखिम से बचें जहां लागत का पता नहीं लगाया जा सकता है या विभिन्न लॉग सिस्टम में लंबी यात्रा की आवश्यकता होती है। किसी भी दिए गए एप्लिकेशन लागत पर वापस जाना त्वरित और सरल होना चाहिए।

अंतिम विचार

आप चाहे कहीं भी काम कर रहे हों, नई सुविधाओं की डिलीवरी और मौजूदा सुविधाओं के अनुकूलन के बीच संतुलन बनाना मुश्किल है। ऐसा कौन है जिस पर प्रकाश की गति से नई अनोखी सुविधाएँ देने का दबाव न पड़ा हो।

हालांकि, इंजीनियरों और प्रबंधकों दोनों के लिए यह आवश्यक है कि वे अपनी वर्तमान परियोजनाओं के बारे में सोच-समझकर और सक्रिय निर्णय लें तथा जोखिमों और अवसरों का प्रभावी ढंग से प्रबंधन करें।