Antwort.

Seit der Einführung von Aufgaben zur Datenintegration zwischen Systemen stellt sich oft die Frage der programmgesteuerten Synchronisierung: Es müssen nur die tatsächlich geänderten Zeilen aktualisiert werden, um Ressourcen zu sparen und die Blockierungen zu minimieren. Der Standardansatz in der Vergangenheit bestand in einem vollständigen Austausch oder einer manuellen Suche nach Unterschieden, was zusätzliche Operationen kostete und zu Fehlern führte.

Problem: Bei der Synchronisierung müssen nur die geänderten Daten erkannt und aktualisiert werden, nicht alle. Dies ist wichtig für die Leistung, den Netzwerkverkehr und die Integrität, insbesondere bei großen Volumen oder verteilten Datenbanken.

Lösung: Normalerweise wird der Vergleich der Ausgangs- und Zieltabellen mithilfe von JOIN-Operatoren implementiert, Unterschiede werden über HASH oder Prüfziffer berechnet, und es werden nur die "abweichenden" Zeilen mit MERGE (oder UPSERT) oder speziellen Triggern aktualisiert.

Beispielcode (in SQL Server):

MERGE target_table AS t
USING source_table AS s
ON t.id = s.id
WHEN MATCHED AND (t.name <> s.name OR t.value <> s.value) THEN
  UPDATE SET t.name = s.name, t.value = s.value
WHEN NOT MATCHED BY TARGET THEN
  INSERT (id, name, value) VALUES (s.id, s.name, s.value);

Wichtige Merkmale:

Verwendung von MERGE/UPSERT ohne erneute Aktualisierung unveränderter Zeilen
Möglichkeit, nicht nur nach PK, sondern auch nach anderen eindeutigen Feldern zuzuordnen
Überprüfung nur tatsächlich geänderter Spaltenwerte (über Bedingung)

Fangfragen.

Garantiert MERGE immer das Fehlen von Wettlaufbedingungen bei gleichzeitigen Aktualisierungen?

Nein, ohne zusätzliche Transaktionskontrolle kann es zu Wettlaufbedingungen kommen. Für maximale Korrektheit verwenden Sie das entsprechende Transaktionsisolation-Level.

Kann man UPDATE ... JOIN anstelle von MERGE für komplexe Synchronisation verwenden?

Das ist oft möglich, aber dieser Ansatz erlaubt es nicht, neue Zeilen in die Zieltabelle hinzuzufügen. Nur MERGE/UPSERT aktualisiert und fügt hinzu.

UPDATE t SET t.name = s.name, t.value = s.value
FROM target_table t
JOIN source_table s ON t.id = s.id
WHERE t.name <> s.name OR t.value <> s.value;

Was tun, wenn die zu synchronisierenden Tabellen nicht übereinstimmende Spaltensets haben?

Es wird empfohlen, die zugeordneten Felder explizit aufzulisten und nicht zu versuchen, "immer alle" Felder zu aktualisieren. Bei Bedarf verwenden Sie Mapping-Tabellen oder Transformationen.

Typische Fehler und Anti-Patterns

Aktualisierung aller Zeilen hintereinander (auch unveränderter)
Fehlende Überprüfung auf das Vorhandensein neuer Zeilen (Einfügungen)
Fehlende Transaktionskontrolle, was zu doppelten Aktualisierungen führt

Beispiel aus dem Leben

Negativer Fall

Der ETL-Ingenieur "lädt" Daten mit einem einfachen UPDATE aller Datensätze nach Schlüssel: Tabelle mit Zehntausenden von Millionen Zeilen, Prozess dauert Stunden und blockiert den Server. Es gibt keine separate Einfügung neuer Zeilen, frische Daten gehen verloren.

Vorteile:

Einfacher Code

Nachteile:

Langsam, spart keine Ressourcen, Risiko des Verlusts neuer Daten

Positiver Fall

Der Spezialist berechnet vor dem Laden die Prüfziffern der Zeilen, filtert geänderte Datensätze, verwendet MERGE für schnelle Synchronisation und das Hinzufügen neuer Zeilen. Der Prozess dauert nur wenige Minuten, ohne Überlastung.