Çözüm, depolamayı işten ayırırken denetim sürekliliğini koruyan hibrit bir mimari uzlaşma gerektirir. Teradata'yı tarihsel SOX verileri için yalnızca okunabilir bir arşiv katmanı olarak kullanarak ve güncel ticaret analitiği için Photon hızlandırmasıyla bir Databricks Delta Lake "sıcak" katmanı kurarak aşamalı bir göç öneririm. Bu yaklaşım, yalnızca arşiv-odaklı düğümler için azaltılmış bir Teradata lisansı müzakere etmeyi ve her iki sistemi şeffaf bir şekilde sorgulamak için bir Tableau veri kaynağı federasyon katmanı uygulamayı gerektirir ve böylece CFO'nun maliyet azaltma hedeflerini, CDO'nun performans gereksinimlerini ve denetimlerin erişilebilirlik kısıtlamalarını aynı anda tatmin eder.
Sorun tanımı
Çok uluslu bir varlık yönetim firmasındayken, mali yıl sonu SOX denetiminden altı hafta önce bu tam tıkanma ile karşılaştım. CFO, Teradata için 2.4 milyon dolarlık yıllık yenileme faturasını almış ve derhal ödemelerin durdurulmasına karar vermişti, oysa ticaret katında beş kritik Tableau çalışma kitabı, 18 aylık tick verisini alt-2 saniye yenileme gereksinimleriyle sorguluyordu. Databricks'in kavramsal kanıtı karşılık gelen veri setlerinde 8 saniye sorgu gecikmeleri göstermişti ve denetim komitesi kontrol belgelerinde herhangi bir "veri yok" istisnasına açıkça yasak koymuştu. Proje üç hafta boyunca duraklamıştı ve her iki yönetici de ortak toplantılara katılmayı reddetmişti.
Çözüm 1: Sorgu optimizasyonuyla taşıyıp geçirme
İlk seçenek, tüm verileri Databricks'e taşımak ve agresif Z-Ordering ve Liquid Clustering optimizasyonlarıyla alt-saniye performansını zorlamaktı.
Artıları: Bu, Teradata'nın tam olarak ortadan kaldırılmasını sağladı, CFO'nun maliyet emrini tamamen tatmin etti ve mimariyi tek bir platforma basitleştirdi.
Eksileri: Üç hafta ayarlamaya rağmen, elde edilebilecek en iyi gecikme 4.5 saniyede kaldı, bu da ticaretçilerin karar verme iş akışı gereksinimlerini ihlal etti. Ayrıca, göç 72 saatlik bir kapatma süresi gerektirecekti, bu da SOX denetim zaman diliminin sıfır-downtime emriyle çelişiyordu.
Çözüm 2: İki yönlü aktif-aktif çoğaltma
Teradata'yı tarihsel SOX arşivleri için korumayı ve Debezium ve Kafka kullanarak mevcut ticaret verileri için gerçek zamanlı bir Değişiklik Veri Yakalama boru hattı inşa etmeyi düşündük, her iki sistemi senkronize tutmayı hedefledik.
Artıları: Bu, denetim sorguları için Teradata'yı korurken, Databricks'in yeni verileri işlemesine izin verdi, muhtemelen son veri setleri için performans ihtiyaçlarını karşılayarak.
Eksileri: Aktif Teradata kümesi için lisans maliyetleri yüksek kalmaya devam etti, bu da CFO'nun ana amacını başarısız kıldı. Ayrıca, Kafka akışları arasında tutarlılığı sürdürmek önemli bir karmaşıklık getirdi ve SOX denetçileri, iki aktif yazılabilir sistem arasında veri işleme parçalanmasını endişe verici buldu, bu da kapsamlı uzlaşma kontrolleri gerektiriyordu.
Çözüm 3: Sorgu federasyonu ile katmanlı depolama (Seçilen)
Teradata'yı 90 günden eski veriler için yalnızca okunabilir "soğuk depolama" arşivine dönüştürerek %70 lisans indirimi müzakere ettik, aktif 90 günlük ticaret veri setini Databricks'e Photon motoru hızlandırması ile taşıdık. Her iki kaynağı birleştirmek için Tableau veri karıştırma uyguladık, Unity Catalog ise kullanıcılar için birleşik bir anlamsal görünüm sunmak üzere meta veri katmanını yönetti.
Artıları: Bu, altyapı maliyetlerini hemen %65 azaltarak, Databricks'in optimize edilmiş yürütmesi aracılığıyla aktif ticaret verileri için alt-saniye performans eşiğini karşıladı ve Teradata'yı tarihsel SOX örnek testleri için yeni lisans cezaları olmadan erişilebilir tutarak tam bir denetim izini sağlamaya devam etti. Federasyon katmanı mimari karmaşıklığı son kullanıcıların gözünden sakladı.
Eksileri: Çözüm, çift veri kaynağı yönetimi gerektiren Tableau çalışma kitabı bakımında biraz karmaşıklık getirdi ve sistemler arası joinler için ilk sorgu ısınma süreleri ortalama 3 saniye oldu, bu da en kritik panolar için önceden hesaplanmış çıkışlar gerektiriyordu.
Bu çözüm neden seçildi
Katmanlı yaklaşım, üçüncü bir gereksinim pahasına ikisi için optimize etmekten çok, üç katı ağır kısıtı birden karşılayan tek seçenek olarak seçildi. CFO, azaltılan lisansı geçici bir zafer olarak kabul etti, CDO aktif veri kümesinde kabul edilebilir performans elde etti ve denetim komitesi mimariyi onayladı çünkü Teradata'nın değişmez arşiv durumu, tarihsel (donmuş) ve güncel (değiştirilebilir) kayıtlar arasında fiziksel bir ayrım oluşturarak SOX kanıt yolunu güçlendirdi.
Sonuç
Göç, denetim penceresi açılmadan dört gün önce tamamlandı. Tableau panosu performansı, Databricks'in kolonel sıkıştırması sayesinde günlük ticaret görünümleri için %40 iyileşti ve Teradata arşiv katmanı tüm SOX kontrol testlerinden geçerek tutarsızlık bulamadı. CFO, azaltılmış Teradata lisansını ek 18 ay için "uyum arşivi" SKU altında uzattı ve firma, katmanlı modeli tüm düzenlenmiş veri iş yükleri için standart olarak benimsedi, bu da toplamda 3.2 milyon dolarlık yıllık tasarruf sağladı.
Regülatör tarihleri, teknik yeniden yapılandırma ihtiyaçları ile çeliştiğinde "gecikme maliyetini" nasıl ölçersiniz?
Adaylar genellikle sadece teknik uygulanabilirlik veya regülasyon metni üzerine odaklanır, ancak kapatma gecikmesinin finansal etkisini hesaplamazlar. Doğru yaklaşım, günlük lisans yakım oranlarını, denetim bulgularının riskten ayarlanmış maliyeti ile karşılaştıran bir maliyet modeli oluşturmaktır. Teradata lisans tasarrufunun Net Bugünkü Değeri (yıllık 2.4 milyon dolar = günlük 6,575 dolar) ile SOX maddi bir zayıflığın olasılığa dayalı maliyetini (genellikle düzenlenmiş sektörlerde kamu firmalarının piyasa değerinin %15-20'si) hesaplamanız gerekir. Bu nicel çerçeve, tartışmayı görüş bazlı bir tıkanmadan finansal risk yönetimine dönüştürür ve paydaşların kısmi çözümler arasında bilinçli takas yapmalarına olanak tanır.
Platform geçişi sırasında federasyonlu veri kaynakları arasında sorgu sonucu tutarlılığını sağlamak için hangi doğrulama tekniklerini uyguluyorsunuz?
Çoğu aday, analitik toplama için başarısız olan manuel örnekleme veya basit satır sayısı eşleştirmeleri önerir. Doğru yöntem, Great Expectations veya Deequ doğrulama suite'larını uygulayarak, Teradata arşivi ile Databricks aktif katmanı arasında istatistiksel dağılımları (ortalama, medyan, standart sapma) ve referans bütünlüğünü karşılaştırmaktır. Yüksek riskli sorgu kalıplarını temsil eden "altın veri setleri" oluşturmalı ve günlük uzlaşma raporlarını otomatikleştirmelisiniz, böylece % 0.01'lik bir tolerans ötesindeki varyansı işaretleyin. Kritik olarak, federasyon katmanının dönüşüm hataları eklemediğini kanıtlamak için Monte Carlo veya OpenLineage kullanarak veri izini belgelendirmelisiniz ve hem kaynaklardan veri çekerek Tableau panolarının tek bir gerçek versiyonu sunduğundan emin olmalısınız.
Miras satıcılarla "uyum arşivi" lisanslama şartlarını, standart sözleşmeler tam devirleri barsa nasıl görüşürsünüz?
Adaylar genellikle ikili seçimleri (tam yenileme veya tam iptal) varsayar ve yaratıcı sözleşme yapısını gözden kaçırır. Çözüm, geliştirme departmanı ile işbirliği yaparak lisans maliyetlerinin %10-15'ine yalnızca okunabilir erişim sağlayan bir "denetim koruma" veya "uyum bekletme" SKU müzakeresi yapmaktır. Talebi düşüş değil, risk azaltma hizmeti olarak çerçevelemelisiniz ve satıcının hesap ilişkisini sürdürdüğünü vurgulayarak rekabetçi yer değiştirmeden kaçınmasını sağlarsınız. Ayrıca, arşivi sağlayıcının bulut teklifine (Teradata Vantage üzerinde AWS) "kendi lisansınızı getirin" (BYOL) transferi altında taşımayı önermelisiniz; bu, genellikle mali ekiplerin bulut dönüşümü olarak sınıflandırabileceği hibrit fiyatlandırma modellerini açar ve hem CFO'nun maliyet hedeflerini hem de CDO'nun mimari yol haritasını tatmin eder.