Mimari, tüm federated kaynaklardan gerçek zamanlı istatistik toplama ile maliyet bazlı optimizasyon uygulayan bir dağıtılmış sorgu koordinatörü etrafında şekilleniyor. Sorgu sonuçları, sıcak veriler için bir hafızada önbellek ve önceden birleştirilmiş sonuçlar için bir dağıtılmış sütunlu depolama içeren bir katmanlı depolama sistemi içinde önbelleğe alınıyor. Bir politika uygulama noktası, temel veri kaynaklarını değiştirmeden satır düzeyinde güvenlik şartlarını eklemek için tüm sorguları intercept ediyor.
Büyük bir finans kurumu, gerçek zamanlı kredi kartı işlemleri, kredi başvurusu metadata ve mobil bankacılık davranış sinyallerini ilişkilendirerek çapraz ürün dolandırıcılığını tespit etmesi gerekti. Her alan ekibi, farklı bölgelerde verilerini mülkiyetinde bulunduruyordu—kartlar AWS ABD-Doğu'da, krediler Azure Avrupa'da ve mobil günlükler GCP Asya'da olmak üzere ve merkezi veri konsolidasyonunu engelleyen sıkı düzenleyici gerekliliklerle.
Merkezi Veri Ambarı: Tüm verileri tek bir Snowflake örneğine, gecelik ETL boru hatları ile birleştirin. Bu yaklaşım, merkezi erişim kontrolü sağlayarak yönetimi basitleştirir ve optimize edilmiş depolama sayesinde tutarlı sorgu performansı sağlar. Ancak, bu alan otonomisine aykırıdır çünkü ekiplerin veri mülkiyetini bırakmasını zorlar, bölge arası çoğaltma için önemli veri transfer maliyetleri oluşturur ve gerçek zamanlı dolandırıcılık tespit senaryoları için eski veri problemleri getirir.
Temel Sorgu Federasyonu: Veriyi taşımadan kaynak sistemleri doğrudan sorgulayan hafif bir Presto kümesi dağıtın. Bu, alan otonomisini korur ve çoğaltmayı önleyerek depolama maliyetlerini düşürür. Ancak, bölgeler arasındaki ağ gecikmesi nedeniyle öngörülemeyen performans sorunları yaşar, tekrar eden pahalı taramalar nedeniyle akıllı önbellekleme eksiktir ve farklı kimlik doğrulama modellerine sahip çelişkili kaynak sistemler arasında tutarlı güvenlik politikalarını uygulayamaz.
Akıllı Federated Katman ile Alan Geçitleri: Alan odaklı veri ürünlerini sergileyen alan-spesifik API Geçitleri ile yerleşik OLAP motorları uygulayın; bunu pushdown ve önbellekleme arasında karar vermek için maliyet bazlı optimizasyon kullanan bir küresel sorgu planlayıcısı ile birleştirin. Bu, alan mülkiyetini korurken, alan seviyesinde malzemeleştirilmiş görünüm ve alanlar arası sonuç önbellekleme sayesinde performans sağlar. Operasyonel karmaşıklık ekler ve alanlar arasında veri ürünü sözleşmelerinin standart hale getirilmesini gerektirir.
Seçilen çözüm: Seçenek 3, çünkü otonomi gereksinimleri ile performans ihtiyaçlarını dengeledi. Banka, kendi geçitlerini yönetme kabiliyetine sahip mevcut alan odaklı ekiplere sahipti, bu da bu yaklaşımı operasyonel olarak uygulanabilir kıldı. Ayrıca, kademeli geçiş yolu, alanların büyük bir yeniden yazma olmaksızın kademeli olarak katılmalarına izin verdi.
Sistem, çapraz alan dolandırıcılık sorgularının %95’inde sub-500ms gecikme sağladı, veri transfer maliyetlerini tam çoğaltmaya göre %70 azalttı ve AB verilerini Avrupa bölgelerinde tutarak ABD analistlerinin toplam, anonimleştirilmiş sonuçları sorgulamasını sağlayarak GDPR uyumluluğunu korudu.
Yüksek kardinalite alanı (örn. işlemler) ile düşük kardinalite alanı (örn. tüccar kategorileri) arasında tüm işlem veri setini merkezi bir düğüme taşımadan katılma işlemini nasıl yönetirsiniz?
Daha küçük veri seti için yayılma katılımları ve daha büyük veri seti için bölümlendirilmiş katılımlar uygulayın, katılma anahtarları üzerinde tutarlı hashing kullanarak. Sorgu optimizasyoncusu, optimal stratejiyi otomatik olarak seçmek için alan meta veri kataloglarından kardinalite istatistiklerini analiz etmelidir. Eğilimli anahtarlar için, sıcak anahtarları birden fazla bölüme dağıtmak için tuzlama teknikleri uygulayın ve ardından katılma sonrası sonuçları birleştirin. Bu, ağır yükün verinin bulunduğu alan düğümlerinde gerçekleşmesini sağlarken, yalnızca minimum katılım sonuçlarının ağdan geçmesini sağlar.
Kaynak alanlardaki temel veriler sık sık değiştiğinde, özellikle bu alanlar değişiklik veri yakalama (CDC) mekanizmaları desteklemiyorsa, önbellek tutarlılığını nasıl sağlarsınız?
Kritik sorgular için TTL bazlı geçersiz kılma ile birlikte önbellek-aside modelini kullanın. CDC’si olmayan alanlar için, gözlemlenen veri değişkenliği desenlerine dayalı olarak uygulamalı TTL uygulayın—sık değişen tabloların daha kısa TTL'leri olur. Ön bellek girişlerini doğrulamak için dağıtılmış bir meta veri hizmetinde saklanan sürüm vektörleri veya son değişiklik zaman damgaları kullanın. Bir sorgu eski bir önbellekle karşılaşırsa, kaynak alanına geri dönün ve önbelleği asenkron olarak yeniden doldurun, böylece önbellek baskını önleyin.
Bir alan RBAC (Rol Tabanlı Erişim Kontrolü) kullanırken, diğeri ABAC (Öznitelik Tabanlı Erişim Kontrolü) kullanırken ve üçüncüsü yerel RLS desteği yoksa, alanlar arasında tutarlı satır düzeyinde güvenlik (RLS) politikalarını nasıl uygularsınız?
Güvenlik politikalarını Open Policy Agent (OPA) kullanarak birleştirilmiş bir politika motoruna dönüştürün; bu motor, yürütmeden önce sorgu katmanında politikaları değerlendirmektedir. Kullanıcı özniteliklerini, geçit düzeyinde standartlaştırılmış bir talepler formatına (örn. JWT jetonları) dönüştürün. Yerel RLS'si olmayan alanlar için, üretilen sorgulara güvenlik şartlarını yerleştiren sanallaştırma adaptörleri dağıtın—bu, kullanıcı haklarına göre filtreleyen WHERE ifadelerini etkili bir şekilde ekler. Politika değerlendirme sırasında gecikme cezası önlemek için her bölgesel geçitte bir dağıtılmış politika önbelleği oluşturun ve alan spesifik kurallar arasındaki çelişkileri tespit etmek için CI/CD sürecinde politika simülasyonu uygulayın.