AWS ile Bir Yılda Nasıl 1 Milyon Dolar Kazanılır?

Eğer bu sayfaya bir çabuk zengin olma planıyla zengin olacağınızı düşünerek girdiyseniz, sizi hayal kırıklığına uğrattığım için üzgünüm. Bu makale daha çok bulut maliyet faturalarınızı nasıl 1 milyon dolar azaltabileceğinizden bahsedecek. Bunu yaparak, aslında fazladan bir milyon dolar gelir elde etmiş olacaksınız; bu geliri, AWS ile nasıl zengin olunacağına ilişkin çevrimiçi kursumu satın alarak harcayabilirsiniz ( kursa bağlantı burada ).

Bulut maliyeti genellikle göz ardı ediliyor ve Şirketlerin projelerinin başında hesaba katılmıyor. 2021 HashiCorp anketi, şirketlerin neredeyse %40'ının 2021'de bulut maliyetlerine gereğinden fazla harcama yaptığını ortaya çıkardı [ 1 ]. 2023 yılında neredeyse tüm şirketler (%94) bulutta para israf ettiklerini [ 1 ] ve bulut maliyetinin en az %30'unun boşa gittiğini [ 2 ] itiraf etti. Bulut harcamaları 2022'de neredeyse 500 milyar dolardı; dolayısıyla yılda 150 milyar doların boşa harcanmasından bahsediyoruz!!

Bu sadece kaçırılan gelirlerle ilgili bir endişe değil, aynı zamanda zayıf sürdürülebilirlik uygulamalarıyla da ilgili. 150 milyar dolarlık enerji israfı!

Bu bulgular, yüksek bulut olgunluğundan düşük bulut olgunluğuna kadar büyük işletmelerin yanı sıra daha küçük işletmeleri de kapsamaktadır. AWS'yi ifade eder ancak aynı ilkeler diğer tüm bulut sağlayıcılarına da uygulanabilir. Yani işinizin herhangi bir kısmı buluttaysa bu makale tam size göre.

Veri mühendisi perspektifinden konuşuyorum ancak aynı öğrenmeler diğer yazılım mühendisliği uygulamalarına da uygulanabilir.

Hadi dalalım.

Bir yılda bulut maliyetlerine 1 milyon dolar harcamak için ne gerekir?

Bu tür bir bulut faturası genellikle küresel olarak milyonlarca müşteriyle faaliyet gösteren çok büyük işletmelerle sınırlıdır.

Size bir fikir vermek gerekirse, bir Spark ETL işinin yılda 365 gün, 7 gün 24 saat, saatte ~1,5 TB işlenmesinden 1 milyon dolarlık bir bulut faturası kaynaklanabilir. Başka bir örnek, dünyanın birçok noktasından günde milyarlarca istek alan bir uygulama olabilir.

Büyük bir kuruluşta bu boyutta yüzlerce uygulama vardır; bu da bulut sağlayıcılarla milyar dolarlık sözleşmelerin yapılmasına neden olur. Örneğin Airbnb'nin 2019'un sonunda beş yıl boyunca bulut kaynaklarına 1,2 milyar dolar harcama taahhüdü vardı [3 ].

Expedia'da, optimizasyon uygulamalarını hayata geçirerek yılda 1,1 milyon ABD Doları tutarındaki bir veri işleme ETL'sinin maliyetini yılda yalnızca 100.000 ABD Dolarına düşürdük. Bu %91'lik bir maliyet düşüşü demektir!!

Her şirketin bu kadar büyük uygulamaları yoktur ancak yalnızca tek bir uygulama için veya tüm şirketiniz için bulut maliyetinizi %90 oranında azalttığınızı hayal edin.

Tasarruf etmeye nasıl başlayacağız?

ADIM 1: Tasarım varsayımlarınızı sorgulayın

Gidin ve en pahalı uygulamalarınızın bir listesini alın ve tasarım varsayımlarınızı sorgulayın .

• %99,999 kullanılabilirliğe ve milisaniyenin altında gecikme süresine sahip olan ancak gerçekçi olarak kullanıcıların %99 kullanılabilirlik ve yüzlerce milisaniyelik gecikmeyle yeterince iyi olacağı bir uygulama mı geliştiriyorsunuz?
• Milyarlarca satırdan oluşan veri kümeleri oluşturuyorsunuz ancak kullanıcılar yalnızca bazı önlemlerin toplamını mı kullanıyor?
• Verileri gerçek zamanlı olarak mı alıyorsunuz ancak veriler yalnızca günde bir kez mi analiz ediliyor?
• Önbelleği her 10 saniyede bir mi yeniliyorsunuz ama gerçekten sadece günler arasında mı değişiyor?

Tüm bu sorular en önemli soruya geliyor: Uygulama nasıl kullanılacak? Var olmasının iş değeri nedir? Uygulama belirli bir hedefe ulaşmamıza nasıl yardımcı oluyor?

Elbette tüm bu cevaplar çoğu zaman projenin başlangıcında belirsizdir; ancak bu nedenle tasarım her zaman yinelenen bir süreç olmalıdır; değişikliklerin mümkün olduğu kadar kusursuz bir şekilde gerçekleşmesine izin verilmelidir. Mühendisler, uygulama geliştirmeyi etkiyle uyumlu hale getirerek evrimi ve değişimi benimsemelidir.

ADIM 2: Altyapı kaynaklarınızda ihtiyaçlarınıza göre ince ayar yapın

İkinci adım ise uygulamaya doğru kaynakların sağlanması ve doğru altyapıya ayarlanmasından oluşuyor.

Bir mühendis olarak bulut maliyetlerinin nasıl hesaplandığını öğrenin. Örneğin AWS, küme fiyatı için teklif verebileceğiniz spot bulut sunucuları sağlar; bu, özellikle hataya dayanıklı ve esnek uygulamalarınız varsa kullanışlıdır. İmkanınız varsa bunları kullanın — AWS, maliyetlerde %90'a kadar azalma olduğunu iddia ediyor [ 4 ].

Ele almak isteyebileceğiniz diğer bazı hususlar şunlardır:

• Müşterilerinize dünya çapında mı yoksa yalnızca tek bir coğrafi bölgede mi hizmet veriyorsunuz? Dünyanın her yerinde yaşamak için altyapınıza gerçekten ihtiyacınız var mı, yoksa bunu müşteri tabanınıza daha yakın bir yerde kurabilir misiniz?
• Küme örnekleriniz için gereğinden fazla temel hazırlık mı yapıyorsunuz? Gereksiz maliyetler olmadan en yüksek yükleri kaldırabilecek yeterli kapasitenin bulunduğundan emin olmaya çalışın. Kaynakları gerçek talebe göre dinamik olarak ayarlamak için otomatik ölçeklendirmeyi kullanın ve boşta kalan kaynaklar için fazla ödeme yapılmasını önleyin.
• Veriler ve Spark ile çalışıyorsanız Spark kavramlarını ve ayarlarını anladığınızdan emin olun! Bunu yapmadıysanız, aşağıdaki kaynaklara göz atın [ 5 ] [ 6 ] [ 7 ] [ 8 ] [ 9 ].

3. ADIM: AWS Graviton bulut sunucularını kullanın

AWS Graviton bulut sunucularını kullanmanın çok az dezavantajı vardır veya hiç yoktur. AWS, en uygun maliyetli işlemcileri oluşturmak için büyük yatırımlar yaptı. Yalnızca Intel tabanlı bir işlemciden ARM tabanlı bir işlemciye geçiş yaparak bulut harcamalarında %40'a varan azalma elde edebilirsiniz [ 10 ].

Bunun tek uyarısı, uygulamanızın Graviton'un üzerinde çalıştığı ARM tabanlı işlemcilerle uyumlu olması gerektiğidir. RDS veya OpenSearch gibi yönetilen bir hizmetle çalışıyorsanız, geçiş yaparken hiçbir zorluk yaşanmaz; AWS, temel işletim sistemi ve uygulama uyumluluğuyla ilgilenir. Kendi uygulamanızı oluşturuyorsanız, kullandığınız dile bağlı olarak paketi yeniden derlemeniz gerekebilir; Java ve diğer diller herhangi bir değişiklik gerektirmezken Python biraz dikkat gerektirir.

ADIM 4: Maliyet harcamalarınızı izleyin ve maliyet farkındalığı konusunda eğitim verin

Son olarak, beklenmedik artışlar ve sürprizler için maliyetlerinizi takip etmeyi unutmayın. Uygulamanızın 0. günündeki maliyet, 170. gündeki maliyetten farklı olacaktır. Değişiklikleri takip ettiğinizden ve değişikliğin neden gerçekleştiğini anladığınızdan emin olun: bu, s3 depolama maliyetlerini artırıyor mu, yoksa yalnızca bir defaya mahsus mu? başak mı?

Gerekli uyarıları ve operasyonel kılavuzları ayarlayın !

Daha da önemlisi harcamaları departmana, projeye veya ortama göre izlemek için maliyet tahsis etiketlerini uygulayın. Maliyetin takip edilemediği veya farklı günlük sistemleri arasında uzun bir yolculuk gerektiren bir veri bataklığı oluşturma riskinden kaçının. Herhangi bir uygulama maliyetine geri dönmek hızlı ve basit olmalıdır.

Son düşünceler

Nerede çalışırsanız çalışın, yeni özelliklerin sunulmasıyla mevcut özelliklerin optimizasyonunu dengelemek zordur. Işık hızında yeni ilginç özellikler sunma konusunda kim baskı altında kalmadı?

Ancak hem mühendislerin hem de yöneticilerin mevcut projeleri hakkında bilinçli ve proaktif kararlar alması, riskleri ve fırsatları etkin bir şekilde yönetmesi esastır.