Mimari, Güvenilen İcra Ortamı (TEE) tabanlı Çok-Taraflı Hesaplama (MPC) ağı ve Çarpıtma Hata Toleransı (BFT) konsensüs katmanına dayanır. Her katılımcı, Ham Veri asla şifrelenmeden organizasyon sınırlarını terk etmediği için, kendi altyapısı içinde Intel SGX veya AMD SEV-SNP kapsayıcıları dağıtır. Sistem, gradyanların geçici kamu anahtarlarıyla şifrelenip iletilmeden önce, yalnızca güvenilir kapsayıcılarda agregasyon için şifresinin çözüldüğü Güvenli Agregasyon (SecAgg) protokollerini kullanır.
BFT konsensüs katmanı, HotStuff veya Tendermint gibi protokoller kullanarak, eğitim turlarını dağınık bir doğrulayıcı düğüm kurulumu arasında koordine eder, kötü niyetli veya tehlikeye atılmış f < n/3 düğüm olsa bile ilerleyişi sağlar. Farklılık Gizliliği (DP), verilerin kaynaklarında yerel DP-SGD ile güvenli gürültü enjeksiyonunun birleştirilmesiyle, katılımcı inceleme saldırılarına karşı matematiksel gizlilik garantileri sağlar.
Altyapı, Gizli Konteynerler (örneğin, SGX desteği ile birlikte Kata Containers) kullanan coğrafi olarak dağıtılmış Kubernetes kümelerini kapsar ve sadece güvenilir uç noktalar arasında trafik yönlendiren bir Servis Ağı (örneğin, mTLS ve SPIFFE kimlikleri ile Istio) tarafından düzenlenir. Uzaktan Onaylama, Intel DCAP veya AMD SEV-SNP onay raporları, herhangi bir gradyan değişimi gerçekleşmeden önce kapsayıcı bütünlüğünü doğrular.
Sistem, hata toleransı ve geri alma yetenekleri için bir Immutable Ledger (örneğin, Blockchain ile bağlanan IPFS) üzerine her N turda kontrol noktaları ile birlikte epoch-tabanlı eğitim turları uygular.
Beş büyük uluslararası bankadan oluşan bir konsorsiyum, karmaşık sınır ötesi kara para aklama şebekelerini tespit etmek için ortaklaşa bir Graf Sinir Ağı (GNN) eğitmek istiyordu. Her bankanın, ham veri ihracını veya merkezi bir yüzyıla dönüşümü engelleyen GDPR ve GLBA düzenlemeleri tarafından yönetilen silo halindeki işlem kayıtları mevcuttu. Ana zorluk, rakiplere müşteri kimliklerini veya işlem detaylarını açığa çıkarmadan ortak model eğitimi sağlamak, aynı zamanda herhangi bir bankanın veya altyapı sağlayıcısının küresel modeli manipüle etmesini veya paylaşılan gradyanlardan bilgi çıkartmasını engellemektir.
Bir potansiyel çözüm, bankaların şifrelenmiş veriler üzerinde doğrudan hesap yapacakları Homomorfik Şifreleme (HE) kullanmaktı. Bu yaklaşım, donanım güveni varsayımları olmadan matematiksel olarak kanıtlanabilir güçlü teorik gizlilik garantileri sundu. Ancak, Tam Homomorfik Şifreleme (FHE) hesaplama yükü, birkaç milyon veri hacmi için bir epoch süresinin altı ayı aşmasına neden oldu. Gecikme ve hesaplama maliyeti, bu çözümü üretim dağıtımı için ekonomik olarak uygulanamaz hale getirdi.
Diğer bir düşünülen yaklaşım, merkezi bir parametre sunucusu ile standart Federated Learning kullanmaktı. Bu, veri yerelliğini korurken ve makul performans sunarken, parametre sunucusu gradyan tersine çevirmesi veya model zehirlenmesi yoluyla hassas bilgileri çıkarabildi. Ayrıca, mimari, bir noktadan başarısızlık ve üçüncü taraf bulut sağlayıcısına tam güven gerektiriyordu ki bu durum, rekabetçi mali kurumlar arasındaki sıfır güvencesi gereksinimlerini ihlal ediyordu.
Seçilen mimari, Azure Confidential Computing ve AWS Nitro Enclaves kullanarak bir TEE tabanlı MPC ağı uyguladı. Her banka, Gramine korumalı PyTorch eğitim yüklerini SGX kapsayıcıları içinde dağıttı ve ağ iletimi öncesinde gradyanları ECIES ile şifreledi. Tarafsız üçüncü taraf denetçileri tarafından işletilen bir BFT doğrulayıcı düğüm kurulu, HotStuff protokolü kullanarak eğitim turlarını koordine etti. Farklılık Gizliliği bütçeleri, güvenli agregasyon kapsayıcıları içinde kalibre edilmiş gürültü eklenerek sıkı bir şekilde uygulandı. Bu çözüm, kriptografik gizlilik garantileri sağlarken ve bir katılımcı bankanın altyapısının tehlikeye atılmasını tolere ederken, eğitim tamamlanmasını 72 saat içinde başarmıştır.
Dağıtım, bireysel banka modellerine göre %40 daha fazla şüpheli işlem kalıbı tespit etti ve işbirlikçi çerçeve için düzenleyici onay aldı. Sistem, veri ihlalleri veya başarılı model çıkarma saldırıları olmadan 18 ay boyunca sürekli olarak çalıştı ve donanım destekli güvenli hesaplamanın, rekabetçi gizlilik gereksinimlerini ve düşmanca çok taraflı ortamlarda düzenleyici uyum sağlayabileceğini gösterdi.
Kötü niyetli bir katılımcının, ham verilerini ifşa etmeden yanlış biçimlendirilmiş gradyanlar göndererek model zehirlenme saldırısı yapmasını nasıl önleyebilirsiniz?
Adaylar genellikle şifrelenmiş gradyanlarda şifre çözümlerinin anomali tespitini önerir, bu da gizlilik kısıtlamalarını ihlal eder. Doğru yaklaşım, Sıfır-Bilgi Kanıtları (ZKPs), özellikle zk-SNARKs veya Bulletproofs kullanarak, katılımcının TEE'sinde, gradyanların yerel veri kümesinden, belirlenen öğrenme algoritmasına göre doğru hesaplandığını teyit eder. Güvenli agregasyon kapsayıcısı, bu kanıtları doğruladıktan sonra gradyanları agregasyona dahil eder. Ayrıca, Multi-Krum veya kesilmiş ortalama agregasyon algoritmaları, şifrelenmiş alanda bireysel katkılara şifre çözmeden istatistiksel anormallikleri tespit etmek için TEE'ler için uyarlanmıştır ve gizliliği korurken BFT'ye dayanıklılığı sağlar.
Bir katılımcının TEE onay sertifikasının, eğitim turu esnasında tehlikeye atıldığını tespit ettiğinizde, nasıl iptalini sağlarsınız?
Birçok aday, onaylamanın ve güvenin dinamik doğasını göz ardı eder. Mimari, eğitim dönemlerinin epoch-tabanlı olarak uygulanmasını ve takviyeli konsensüsü içerecek şekilde tasarlanmalıdır. İptal gerçekleştiğinde (Sertifika İptal Listeleri veya OCSP aracılığıyla tespit edilen), BFT konsensüs katmanı, mevcut eğitim döneminden etkilenen düğümün çıkarılması için bir yapılandırma değişikliği işlemi önerir. Kontrol noktası her N turda, Immutable Ledger üzerine gerçekleşir (örneğin, Hyperledger Fabric veya Quorum). Sistem, güncel anahtarların elde edilmesinin geçmiş gradyan trafiğini şifrelemesini önlemek için ileriye yönelik güvenli şifreleme kullanır. Eğitim, en son onaylanan kontrol noktasından, iptal edilen katılımcının etkisi çıkartılarak devam eder ve tüm hesaplama sürecini yeniden başlatmadan canlılığı korur.
Altındaki TEE donanımı, Spectre veya Foreshadow gibi yan kanal saldırıları tarafından tehlikeye atıldığında, farklılık gizliliği garantilerinin nasıl sağlandığını nasıl garanti edersiniz?
Bu, sıklıkla göz ardı edilen bir derinlik savunması sorusudur. Donanım güvenliğine tek başına güvenmek yetersizdir. Çözüm, her bir bireysel eğitim örneğinin, agregasyon aşamasından bağımsız olarak gizlilik gürültüsü taşımasını garanti eden, TEE'ye giriş yapmadan önce veri kaynağında uygulanan yerel farklılık gizliliği gerektirir. Kriptografik körleme teknikleri, gradyanlar TEE içinde agregatöre iletilmeden önce rastgele maskeler ekler; maskeler yalnızca güvenli agregasyon sırasında çıkarılır. Gizlilik bütçesi hesabı, BFT konsensüs katmanı tarafından izlenen kompozisyon teoremleri (ileri veya anlık muhasebeci) kullanılarak gerçekleştirilir ve birden fazla eğitim turunda aşırı maruz kalmayı önler. Bir saldırganın tehlikeye atılmış bir TEE'den verileri çıkarması durumunda, yalnızca daha önce gürültü eklenmiş ve silindirilmiş değerleri elde ederler ve bu değerler, matematiksel çerçevenin değil, yalnızca donanımın uyguladığı epsilon-delta farklılık gizliliği garantilerini korur.