← Volver a la Base de conocimientos← Pregunta anteriorSiguiente pregunta →
ProgramaciónIngeniero de Datos

¿Cómo organizar la importación masiva (bulk insert) de datos desde un archivo a una tabla SQL para garantizar el máximo rendimiento y asegurar la corrección de los datos? ¿Qué herramientas se deben utilizar en diferentes SGBD y qué matices de control de errores existen?

Supere entrevistas con el asistente de IA Hintsage

Respuesta.

Para la importación masiva (bulk insert) de grandes volúmenes de datos, se utilizan comandos y herramientas especializadas: BULK INSERT, COPY, LOAD DATA INFILE, herramientas externas como bcp (SQL Server), psql (PostgreSQL), así como herramientas ETL.

Puntos clave:

  • Utilice formatos CSV/TXT sin transformaciones innecesarias.
  • Desactive los desencadenadores e índices durante la importación si los datos no requieren verificación: esto aumenta la velocidad.
  • Utilice comprobaciones y validación de la integridad referencial ANTES y/o DESPUÉS de la importación.
  • Importe a una tabla temporal, valide y luego realice la inserción masiva en la tabla principal.
  • Intente dividir los datos en batches, si es soportado.
  • Revise los códigos de retorno/logs: la importación masiva puede permitir la omisión de fallos.

Ejemplo para PostgreSQL:

COPY staging_table (id, name, age)
FROM '/path/to/data.csv'
DELIMITER ','
CSV HEADER;

-- Verificación de datos, transferencia a la tabla de producción después de la validación
INSERT INTO prod_table (id, name, age)
SELECT id, name, age FROM staging_table WHERE age >= 0 AND name IS NOT NULL;

Pregunta engañosa.

Pregunta: ¿Por qué después de una importación masiva en una tabla grande con índice puede haber una caída brusca en el rendimiento de las operaciones subsiguientes?

Respuesta: Porque la importación masiva llena la tabla directamente, y los índices se recrean/actualizan solo después de la importación principal, lo que puede bloquear la tabla y consumir recursos. Se recomienda desactivar los índices secundarios durante la importación y recrearlos al finalizar, o dividir en batches.

Historia

En un proyecto de logística, se cargaron millones de filas a través de BULK INSERT sin una tabla temporal: los datos no válidos "bloquearon" los índices con información incorrecta, después de lo cual, debido a las FK y las restricciones CHECK, no se pudo simplemente "revertir" algunas filas malas. Los datos tuvieron que limpiarse manualmente.

Historia

En un servicio corporativo, la importación masiva aumentó el tiempo de importación 10 veces porque durante la carga no se desactivaron los índices secundarios, y en cada paso se recalculaba su estructura.

Historia

En un producto fintech, al cargar grandes archivos, la importación masiva permitió cargar no todas las filas debido a errores silenciosos, ya que no se procesaron correctamente los códigos de error: se perdió parte de información importante, que solo se descubrió después de la conciliación con fuentes externas días después.