このアーキテクチャは、トラステッド実行環境（TEE）ベースのマルチパーティ計算（MPC）メッシュとビザンチン耐障害（BFT）合意を組み合わせています。各参加者は、自らのインフラストラクチャ内にIntel SGXまたはAMD SEV-SNPエンクレーブをデプロイし、生データが暗号化されることなく組織の境界を離れないようにします。システムは、勾配が送信前に一時的な公開鍵で暗号化され、集計のために認証されたエンクレーブ内でのみ復号される**セキュア集計（SecAgg）**プロトコルをTEE内で実行します。
BFT合意層（例：HotStuffやTendermint）は、悪意のあるまたは侵害されたノードがf < n/3であっても進行するように、分散型バリデータノードの委員会間でトレーニングのラウンドを調整します。差分プライバシー（DP）は、データソース内でのローカルDP-SGDを通じて強制され、集計エンクレーブ内におけるセキュアノイズ注入と組み合わせて、メンバーシップ推論攻撃に対する数学的プライバシー保証を提供します。
インフラストラクチャは、地理的に分散したKubernetesクラスタを使用し、機密コンテナ（例えば、SGXサポートのKata Containers）によってオーケストレーションされ、トラステッドエンドポイント間でのみトラフィックをルーティングするサービスメッシュ（例：Istio with mTLSおよびSPIFFEアイデンティティ）を通じて接続されています。リモート確認は、Intel DCAPやAMD SEV-SNP確認レポートを通じて、勾配交換が行われる前にエンクレーブの整合性を検証します。
システムは、保証性を確保するために不変台帳（例：IPFSとブロックチェーンの連携）にチェックポイントをとるエポックベースのトレーニングラウンドを実装しています。
5つの主要な国際銀行からなるコンソーシアムは、洗練された国境を超えたマネーロンダリングリングを検出するために、共同でグラフニューラルネットワーク（GNN）をトレーニングすることを目指していました。各銀行は、GDPRおよびGLBA規制に従って管理される分離された取引記録を保持しており、生のデータのエクスポートや中央集約を禁止していました。主な課題は、顧客の身元や取引の詳細を競合他社に明らかにすることなく、共同モデルのトレーニングを可能にすることでした。また、単一の銀行やインフラストラクチャプロバイダーがグローバルモデルを操作したり、共有された勾配から情報を抽出したりすることを防ぐ必要がありました。
一つの潜在的な解決策は、銀行が暗号化されたデータ上で直接計算する**ホモモルフィック暗号（HE）**を使用することでした。このアプローチは、ハードウェアの信頼性の仮定なしに数学的に証明可能な強力な理論的プライバシー保証を提供しました。しかし、**完全ホモモルフィック暗号（FHE）**の計算オーバーヘッドにより、確率的勾配降下法が実用的でなくなり、彼らのデータセットボリュームでの一エポックのトレーニング時間が6か月を超えました。このレイテンシーと計算コストにより、このソリューションは生産展開には経済的に実現不可能となりました。
別の考慮されたアプローチは、集中型パラメータサーバーを使用した標準の連合学習を利用しました。この方法はデータのローカリティを保持し、合理的なパフォーマンスを提供しましたが、パラメータサーバーは勾配反転攻撃やモデル汚染を通じて機密情報を推測する可能性がありました。さらに、このアーキテクチャは単一障害点を持ち、パラメータサーバーをホストする第三者のクラウドプロバイダーに絶対的な信頼を要求し、競合する金融機関間のゼロトラスト要件に違反しました。
選択されたアーキテクチャは、ハイブリッドクラウド環境全体にわたるAzure Confidential ComputingおよびAWS Nitro Enclavesを使用したTEEベースのMPCネットワークを実装しました。各銀行は、勾配をECIESを使用してネットワーク送信前に暗号化し、SGXエンクレーブ内でGramineによって保護されたPyTorchのトレーニングワークロードをデプロイしました。中立的な第三者監査人が運営するBFTバリデータノードの委員会が、HotStuffプロトコルを使用してトレーニングラウンドを調整しました。差分プライバシーの予算は、セキュア集計エンクレーブ内に調整されたノイズを追加することで厳格に強制されました。このソリューションは、72時間以内にトレーニングを完了することを実現し、暗号プライバシーの保証を維持しつつ、最大1つの参加銀行のインフラストラクチャの妨害に耐えました。
展開は、個別の銀行モデルよりも40%多くの疑わしい取引パターンを特定し、共同フレームワークに対する規制の承認を得ました。システムは、データ漏洩や成功したモデル抽出攻撃なしで18か月間継続して運用され、ハードウェアベースの機密コンピューティングが競争上のプライバシー要件と規制の遵守を満たすことができることを示しました。
どのようにして悪意のある参加者が、生のデータを明らかにすることなく、異常な勾配を提出してモデル汚染攻撃を実行するのを防ぎますか？
候補者はしばしば復号された勾配に対して異常検出を提案しますが、これはプライバシー制約に違反します。正しいアプローチは、ゼロ知識証明（ZKPs）、特にzk-SNARKsまたはBulletproofsを参加者のTEE内で生成して、勾配が合意された学習アルゴリズムに従ってローカルデータセットから正しく計算されたことを証明することです。セキュア集計エンクレーブは、集計に勾配を含める前にこれらの証明を検証します。さらに、Multi-Krumや、暗号化ドメイン内で個々の貢献を復号化することなく統計的外れ値を検出するためにTEEに適応したトリミング平均集計アルゴリズムがビザンチンの堅牢性を確保し、機密性を保持します。
中間トレーニングラウンドで発見された参加者のTEE確認証明書が妥協されている場合、システムはどのように対処しますか？
多くの候補者は確認と信頼の動的な性質を見落とします。アーキテクチャは、プラグ可能な合意によるエポックベースのトレーニングを実装する必要があります。確認の取り消しが発生した場合（証明書取り消しリストやOCSPを介して検出され）、BFT合意層は現在のトレーニングエポックから影響を受けるノードを削除するための構成変更トランザクションを提案します。チェックポイントは、不変台帳（例：Hyperledger FabricまたはQuorum）に毎Nラウンドで行われます。システムは、インターエンクレーブ通信にフォワードセキュア暗号化を使用しており、現在の鍵の妥協が過去の勾配トラフィックを解読できないようにしています。トレーニングは、取り消された参加者の影響を除いた最後に合意されたチェックポイントから再開し、全体の計算を再起動することなくライバシーを保持します。
TEEハードウェアがSpectreやForeshadowのようなサイドチャネル攻撃によって妥協された場合、どのようにして差分プライバシーの保証が維持されることを確保しますか？
これは、しばしば見逃される防御の深さに関する質問です。ハードウェアのセキュリティにのみ依存することは不十分です。この解決策は、テンソルがTEEに入る前にデータソースで適用されるローカル差分プライバシーを必要とし、各個別のトレーニング例が集計ステージに依存しないプライバシーのノイズを持つようにします。暗号化盲目化技術は、集約器への送信前にTEE内で勾配にランダムマスクを追加し、マスクはセキュアな集計中にのみ解除されます。プライバシー予算会計は、BFT合意層によって追跡されたコンポジション定理（高度またはモーメント会計士）を利用して、複数のトレーニングラウンドにわたって過度の露出を防ぎます。たとえ攻撃者が妥協したTEEからデータを抽出できても、得られるのはすでにノイズ付けされ、盲目化された値だけです。これは、ハードウェアだけでなく、数学的フレームワークによって強制されるイプシロン-デルタの差分プライバシー保証を維持します。