Güle Güle DORA: DevOps Raporlarının Durumunun Kusurları

İki yıl önce geliştirici tükenmişliğinin yazılım mühendisleri üzerindeki etkisini araştırdım ve %83'ünün tükenmişlik yaşadığını gördüm. Son aylarda, çeşitli kuruluşlar için yazılım geliştirme algıları üzerine daha fazla araştırma üzerinde çalışıyorum; bunlar arasında yazılım mühendislerinin %75'inin en son yanlış bir davranış bildirdiğinde misilleme ile karşı karşıya kaldığı ve iş dünyası liderlerinin %89'unun bu konuda endişe duyduğu bulguları da yer alıyor. Yazılımın zamanında teslimi .

Google'ın DORA ekibi birkaç yıldır yazılım mühendisleri arasında kendi anketlerini yürütüyor ve ölçüm çerçevesinin orijinal yazarları artık SPACE ve DevEx gibi başka çerçeveler de üretiyor. Başlangıçta bu ekiplerin ürettiği araştırmalara güvenmiştim, ancak daha fazla araştırma yaptıkça kusurlar ortaya çıktı.

Tatil döneminde Dr. Andrew Jenkinson'un "Neden Yiyoruz (Çok Fazla): Yeni İştah Bilimi" adlı kitabını okudum. Kitapta Dr Jenkinson, Dr. Ancel Keys'in Yedi Ülke Çalışması olarak bilinen bir çalışmayı eleştiriyor. Dr Jenkinson, Dr. Key'in başarısını şu şekilde anlatıyor: “En büyük rakibine karşı tartışmayı kazanmıştı, onu tartışılmaz gerçeklerle mağlup etmişti ve hatalı mantığını açığa çıkarmıştı. Kalabalığın övgüsü onu neşe ve coşkuyla doldurdu. Hayatının çalışması meyvesini vermişti. Araştırması için gerekli fon sağlanacak ve kendi alanında önde gelen bilim insanı olarak itibarı yıllarca korunacaktı. Şöhret iyiydi ama şimdi en büyük iki ödülü, yani güç ve etkiyi elde etmişti.”

Ancak Dr. Jenkinson şunu belirtiyor: "Araştırmasında sahtekârlık yapmamıştı; bu, etik dışı olurdu ve onu itibarsızlaştırırdı. Teknik olarak sunduğu şey gerçekti. Ama gerçeğin tamamının bu olmadığını çok iyi biliyordu.”

DORA'nın araştırma çıktılarını inceledikçe ve daha sonra daha ayrıntılı olarak çalıştıkça, bu açıklama ile DORA'nın DevOps Durumu Raporu'ndaki araştırma titizliği ve sonraki SPACE ve DevEx çerçevesi arasındaki paralellikler belirgin hale geldi.

Veriler nerede?

İlk olarak DORA araştırması, öznel anketler kullanılarak binlerce geliştiricinin örneklenmesiyle gerçekleştirilir. Bu araştırma kurum içinde DORA ekibi tarafından yürütülmektedir. Normalde geçimini sağlamak için bu tür araştırmalar yapanlar, üye olan kuruluşların yaptığı araştırmalara kamuoyunun güven duymasını sağlamak için Pazar Araştırmaları Derneği (MRS) ve İngiliz Anket Konseyi (BPC) gibi kuruluşlara katılırlar. Örneğin; BPC kuralları, üyelerine, araştırmanın yayınlanmasından sonraki 2 iş günü içinde sorulan sorularla birlikte veri tablolarının tamamını açıklamalarını gerektiren katı açıklama kuralları koyar.

İlk sorunumuz burada yatıyor; DORA ekibi ham verilerini yayınlamaz, yalnızca DevOps Durumu Raporunu yayınlar.

Kusurlu Metodoloji

Google'ın DORA araştırması ve ekip ayarlarında kullanılan SPACE ve DevEx çerçeveleri, ölçüm oluşturmak için öznel anketleri kullanır. Sübjektif anketleri kullanırken önyargının ortaya çıkmamasını sağlayacak adımların atılması önemlidir.

Ancak DORA, sonuçları ölçmek için Dört Temel Metrik kullanır: Değişiklik Ön Süresi, Dağıtım Sıklığı, Değişiklik Başarısızlık Oranı ve İyileşme Süresi (eski adıyla Ortalama İyileşme Süresi). Bunlar esas olarak yeni özelliklerin devreye alınma hızının ve sorunların çözümlenme hızının ölçüsüdür.

Bazı insanlara "Meslektaşlarınız çok yeşillik yiyor mu?" diye sorduğunuzu hayal edin. ve “Meslektaşlarınız çok çalışıyor mu?”. İşyerleri hakkında daha iyi hissedenlerin muhtemelen her iki soruya da "evet" yanıtı verme olasılıkları daha yüksek olacaktır; bu, daha fazla yeşillik yemenin her zaman daha fazla spor salonuna katılım sağlayacağı anlamına gelmez. Bir korelasyon olsa da bir neden-sonuç ilişkisi kurmadık.

DORA araştırması, hız ve güvenilirliğin el ele gittiğini, ancak bunu tamamen hıza dayalı sonuç ölçümlerine dayanarak yaptıklarını savunuyor. Dahası, öznel anketlerin kullanılması, işleri hakkında daha iyi hisseden alıcıların her iki soruya da "evet" yanıtı vermesine neden olabilir. Ve daha yetkin şirketler kaçınılmaz olarak her iki faktörde de daha yetkin olabilirken, bu nedensel bir ilişki yaratmaz.

Örneğin; Yazılımın uçaklara nadiren uygulanmasına karşın, havacılık yazılımının güvenilirliğinin ne kadar yüksek düzeyde kabul edildiğini düşünün. Ya da çevik metodolojilerin öncüsü olan Toyota'nın, ölümlere yol açan istenmeyen bir hızlanma hatası hakkındaki yazılım güvenilirliği vakası "Bookout v. Toyota"da dahili iletişimde "Aslında arıza güvenliği gibi teknolojiler Toyota'nın bir parçası değildir" ifadesini nasıl kabul ettiğini düşünün. Mühendislik bölümünün DNA'sı". Ya da birden fazla intiharın sorumlusu olarak görülen ve "Birleşik Krallık tarihindeki en yaygın adalet hatası" olarak tanımlanan ve aralarında hamile bir kadının da bulunduğu kişilerin haksız yere hapsedildiği Horizon IT skandalı sırasında yazılım geliştirici Fujitsu'nun nasıl bir yazılım geliştiricinin kullanımına öncülük ettiğini düşünün. Yazılım geliştirmek için çevik metodoloji, yani Hızlı Uygulama Geliştirme .

Kusurlu Ölçüm Sonuçları

Tartışıldığı gibi, DORA araştırması, performansı değerlendirmek için yeni işlerin devreye alınması ve hataların düzeltilmesi hızını değerlendiren Dört Temel Ölçüt ile karşılaştırıldı. Ancak bu ölçümler yalnızca ölçülmesi yararlı sonuçlar oldukları ölçüde önemlidir.

Hem yazılım mühendisleri hem de genel halkı temsil eden bir örneklem (araştırma firması Survation ile birlikte) üzerinde bir araştırma yaptım ve her ikisinin de hızın en az önemli faktör olduğu konusunda hemfikir olduğunu buldum. Bunun yerine halk en çok veri güvenliğine, veri doğruluğuna ve ciddi hataların önlenmesine önem veriyor. Yazılım geliştiricilerin ve halkın en önemli olduğunu söylediği bu sonuçlara Dört Temel Metriği bağlayacak bir hipotez bulmak zordur; özellikle de ciddi hataları önlemenin, hataları hızlı bir şekilde düzeltmekten veya hızlı çalışmaya başlamaktan açıkça daha düşük bir öncelik olduğu göz önüne alındığında. Veri güvenliği gibi diğer faktörler için bile bunların Dört Temel Ölçütten herhangi biriyle nasıl bağlantılı olduğunu görmek zordur.

İş dünyasında karar vericiler arasında bile, zamanında teslimatın hızlı teslimattan daha önemli olduğu görülüyor. JL Partners ile yaptığım araştırmaya göre, Birleşik Krallık'ta bu tür iş karar vericilerinin %98'i ve ABD'de %96'sı "Bir yazılım mühendisliği ekibinin hedefi, yüksek kaliteli yazılımı zamanında teslim etmektir" ifadesine katılıyor. Birleşik Krallık'ta %65 ve ABD'de %62 kesinlikle katılıyorum.

Nihayet; Survation ile birlikte yürüttüğüm araştırma, yazılım mühendislerine olan güvenin ve halkın güvenilirlik beklentilerinin sektörden sektöre önemli ölçüde farklılık gösterebileceğini ortaya çıkardı; bu, Birleşik Krallık Mühendislik Konseyi'nin kendi raporlarında önerdiği şey lehine herkese uyan tek bir yaklaşımdan vazgeçilmesi gerektiği anlamına geliyor. Risk Rehberi : “riskle orantılı ve kuruluşlarının tanımlanmış risk iştahıyla tutarlı bir karar verme yaklaşımı benimsemek”.

Parayı takip et

Dr Keys'in araştırmasında şeker endüstrisinden fon alması gibi, birçok araştırmada teşviklerin nerede yattığını anlamak için parayı takip etmek önemlidir. DORA ekibi başlangıçta BT altyapısını otomatikleştirmeye odaklanan bir şirket olan Puppet için DevOps Durumu raporlarını oluşturmaya başladı ve şimdi bu işi Google Cloud için yapıyor. Her ikisinin de geliştiricilerin işi olabildiğince hızlı bir şekilde dağıtabilmeleri konusunda çıkarı var. Ancak bu, tüm sorunlarımızın çözümü olduğu anlamına gelmiyor.

DORA, sürece bir miktar ampirik değerlendirme ekleyerek yazılım mühendisliği dünyasına katkıda bulunmuştur. Ancak pazarlama materyallerini gerçeğin tamamıyla karıştırmaktan kaçınmalı ve bu tür araştırmalardaki kusurları kabul etmeliyiz.