[ ICYMI Bölüm 1'i okuyun Ölçeklenemeyen Veri Platformu ]

Günümüzde birçok veri platformu, "daha sonra faydalı olabilecek" verileri toplayarak ve ihtiyaçlar ortaya çıktıkça çözümleri kademeli olarak bir araya getirerek aşağıdan yukarıya inşa edilir. Bu yaklaşım kaçınılmaz olarak parçalanmış uygulamaya, artan maliyete ve teknik borca yol açar. Veri sistemi tasarımı, veri modelleme, dağıtılmış sistemler, güvenlik ve uyumluluk konusunda uzmanlaşmış uzmanlık gerektirir. Çoğu şirket, ilk günlerinde özel veri altyapısı ekiplerini karşılayamaz ve büyüdükçe veri sistemlerini oluşturmak ve uyarlamak zorundadır.

Ancak, mevcut sistemleri geliştirme yolu oldukça zorlu olabilir. Ekipler genellikle birden fazla kopya sistemi korurken uzun geçişler veya maliyetli tam sistem geçişi arasında seçim yapmak zorunda kalır. Netscape'in 1997'de tarayıcı motorunu yeniden yazma kararı, Internet Explorer'ın hızlı özellik sürümleriyle rekabet edemedikleri için tarayıcı işlerini ve Internet Explorer'a karşı pazar hakimiyetlerini kaybetmelerine neden oldu ve sonunda pazar paylarında düşüşe yol açtı. Birçok şirket özel çözümlerle başlar ve büyüdükçe satıcı platformlarına geçer; ancak şirketlerin satıcı platformlarını karşılayabildiği ölçekte bile, bunlar yine de kullanım durumlarına uymayabilir ve dahili kullanıcılar yeni iş akışlarına uyum sağlamak zorunda kalır. Birçok şirket ölçeklenmeye devam ettikçe satıcı platformlarının üzerine özel çözümler inşa eder. Dahili altyapı ekipleri artık orijinal sistemlerini korumak, satıcı platformlarını işletmek ve bu platformların üzerine özel uygulamaları desteklemek zorundadır; aynı zamanda kullanıcıları farklı araçlarda eğitmek ve birden fazla sistem genelinde güvenlik ve entegrasyonları yönetmek zorundadır. İşletme ölçeklendikçe planlama ve organik ilerleme eksikliği nedeniyle, daha ucuz bir çözüm olarak başlayan şey, çalıştırılması önemli ölçüde daha maliyetli ve karmaşık hale gelir.

İşletme büyümesiyle ölçeklenebilen veri platformları tasarlamak, bugün eskisinden daha ulaşılabilir. Geçtiğimiz on yılda, birçok kuruluş net veri kullanım kalıpları oluşturdu; ürün ekipleri kullanıcı davranış verilerine ihtiyaç duyuyor, pazarlama ekipleri kampanya performansını izliyor, finans ekipleri gelir ölçümlerini izliyor ve güvenlik ekipleri tehdit kalıplarını analiz ediyor. Bu yaygın kullanım durumları, hangi verilere ihtiyaç duydukları ve ne kadar çabuk ihtiyaç duydukları açısından iyi bir şekilde yerleşmiştir. Maliyetli geçişler ve tedarikçi çözümlerini yeniden düzenleyerek gereksinimleri keşfetmek yerine, maliyet ve operasyonel verimlilik açısından sürdürülebilir bir şekilde ölçeklenebilen bir veri platformu oluşturmak mümkündür.

Veri Platformları Tasarlamak

Temel olarak, bir veri platformu iki temel bileşenle tanımlanabilir: hangi verilere ihtiyacınız olduğu (veri modelleri) ve bunlara ne kadar hızlı ihtiyacınız olduğu (gecikme gereksinimleri). Gevşek bir şekilde tanımlanmış bir kullanım durumu olsa bile, bu iki bileşeni anlamak, veri toplama mekanizmasını ve altyapı ihtiyaçlarını sistematik olarak türetmemizi sağlar.

Örneğin dolandırıcılık riski tespitini ele alalım. Tipik olarak, dolandırıcılık riski üç veri bileşeni gerektirir: kimlik, işlem ve vaka yönetimi.

Her veri bileşeni, gecikme ihtiyaçlarına göre altyapıya eşlenebilir. Kimlik ve işlem doğrulaması, gerçek zamanlı dolandırıcılık tespitleri için akış işlemeyi, devam eden izleme ve uyarıları ele alan veritabanı işlemeyi ve desen analizi ve model eğitimi gibi daha uzun süren görevleri desteklemek için veri göllerini gerektirir.

Veri Modelleri

Bir veri modeli, verilerin nasıl organize edilmesi ve standartlaştırılması gerektiğini tanımlar. Bir dizi alanı ve bunların özelliklerini belirtir — her alan için biçim, tür ve kurallar. Şemalar veri keşfini mümkün kılarken, bireysel alanların tanımları yönetim politikalarını ve uyumluluk gereksinimlerini belirler.

İyi tanımlanmış veri modelleri, kuruluş genelinde standartlaştırılmış veri toplama ve işleme olanağı sağlar. Kullanıcı verilerini bir örnek olarak ele alalım; pazarlama kampanya takibi için, müşteri hizmetleri vaka yönetimi için, ürün ekipleri davranış analitiği için ve risk ekipleri dolandırıcılık tespiti için buna ihtiyaç duyar. Paylaşılan bir kullanıcı veri modeli olmadan, her ekip kullanıcı profillerinin ve izleme mantığının kendi versiyonunu oluşturur. Ekipler, sistemler arasında kullanıcı verilerini çözmek ve uzlaştırmak için karmaşık entegrasyonlar oluşturur. Tek bir gerçek kaynağı olarak hizmet veren paylaşılan bir veri modeli, veri toplama ve uygulamayı basitleştirirken, tutarlı standartlar güvenliği ve uyumluluğu yönetmeyi çok daha kolay hale getirir.

Bireysel ekipler için kapsamlı veri modelleri tanımlamak genellikle zordur çünkü genellikle acil ihtiyaçlarına odaklanırlar. Pazarlama ekipleri kampanyayla ilgili alanlara odaklanırken, risk ekipleri kimlik doğrulama niteliklerine odaklanır. Aynı verinin farklı işlevlere nasıl hizmet ettiğine dair bütünsel bir görüş olmadan, ekipler genellikle sistemler arasında daha fazla işleme ve entegrasyon gerektiren eksik veya dar odaklı veri modelleri oluşturur.

Zaman Gereksinimleri

Zaman gereksinimleri, verilerin ne kadar hızlı işlenmesi ve kullanılabilir hale getirilmesi gerektiğini tanımlar. İşlem pencereleri, anında kararlar için gerçek zamanlıdan (saniyeler), izleme için neredeyse gerçek zamanlıya (dakikalar), analiz ve AI/ML uygulamaları için toplu işleme (saatler) kadar değişir. Bu zaman gereksinimleri, gerçek zamanlı için akış, neredeyse gerçek zamanlı için veritabanları ve toplu işleme için veri gölleri gibi belirli altyapı seçimlerine eşlenir.

Bir çerçeve olmadan, ürün ekipleri genellikle benzer ihtiyaçlar için yedekli altyapılar oluştururlar — bir ekip Kafka kullanırken diğeri akış için MSK kullanabilir veya bir ekip DynamoDB seçerken diğeri veritabanları için Cassandra kullanabilir. Bu, ekipler birden fazla sistemi yinelenen güvenlik kontrolleri ve entegrasyonlarla koruduğu için gereksiz karmaşıklık yaratır.

Altyapı bileşenlerini standartlaştırarak, ürün ekiplerinin artık kendi altyapılarını dağıtmalarına gerek kalmaz ve platform ekipleri daha az sistem sürdürerek operasyonel yükü azaltabilir. Bu standartlaştırma ayrıca daha iyi güvenlik kontrolleri, akıcı entegrasyonlar, basitleştirilmiş gözlemlenebilirlik ve optimize edilmiş maliyetler sağlar.

Genel Veri Platformu

Bir veri platformu mimarisi çerçevesi, veri toplama özelliklerini, altyapı gereksinimlerini, güvenlik kontrollerini ve entegrasyon yeteneklerini sistematik olarak türetmemizi sağlar. Bu, birçok kuruluşun bugün karşı karşıya kaldığı karmaşıklık ve maliyet sarmalını doğrudan ele alır. Ekiplerin platform ekiplerinin desteklemekte zorlandığı ayrı sistemler kurması yerine, tutarlı bir çerçeve kuruluş genelinde güvenliği, uyumluluğu, entegrasyonu ve maliyet yönetimini basitleştirir.

Tutarlı bir uygulama olmadan, platform ekiplerinden sürekli olarak mevcut sistemleri sürdürme, maliyetli geçişler gerçekleştirme veya yeni özellikler oluşturma arasında seçim yapmaları istenir. Platform ekipleri, iş açısından kritik yetenekleri sunmak yerine zamanlarının çoğunu farklı sistemleri sürdürme ve geçişleri yönetmeyle geçirir. Çerçeve odaklı bir yaklaşım, kuruluşların veri platformlarını kesintiye uğratan geçişler olmadan ölçeklendirmesini sağlar. Daha küçük kuruluşlar gerekli bileşenlerle başlayabilir ve büyüdükçe genişleyebilir ve daha büyük kuruluşlar sürekli yeniden yazmadan mevcut sistemlerini bir kez standartlaştırabilir.

Sırada Ne Var

"Tek Seferlik Veri Platformu" serisinin 3. Bölümünde, bu çerçevenin pratik düzeyde nasıl uygulanabileceğini tartışacağız. Akış, veritabanları, veri ambarı ve veri gölü gibi yaygın veri platformu bileşenlerinin tutarlı güvenlik ve uyumluluk kontrolleriyle farklı iş kullanım durumlarını desteklemek için nasıl bir araya getirilebileceğini inceleyeceğiz. Kuruluşlar büyüdükçe, bu modüler yaklaşım ekiplerin standartlaştırılmış arayüzleri ve kontrolleri korurken bireysel bileşenleri bağımsız olarak ölçeklendirmesine olanak tanır ve sürekli geçişlere olan ihtiyacı ortadan kaldırır. Net bir veri platformu mimarisi çerçevesiyle, kuruluşlar işlerini sınırlamak yerine işleriyle birlikte büyüyen veri uygulamaları oluşturabilir.