Arquitectura DWH

Capa Bronze en Microsoft Fabric: Ingestión Raw y Preservación del Histórico

20 noviembre, 2026 · 9 min de lectura
0
(0)

En la implementación de arquitecturas de datos modernas con Microsoft Fabric, la capa Bronze suele ser la más infravalorada y, paradójicamente, la más crítica. Es el punto de entrada de la verdad técnica. He visto demasiados proyectos fracasar o disparar sus costes operativos porque el equipo de ingeniería decidió aplicar transformaciones de negocio, limpiezas de nulos o cambios de tipos de datos directamente en la ingesta. El resultado es siempre el mismo: cuando la lógica de negocio cambia —y siempre cambia—, el equipo se ve obligado a renegociar accesos con sistemas origen para volver a extraer datos que ya deberían haber estado en el Lakehouse.

La capa Bronze no está diseñada para el consumo de los analistas de Power BI ni para alimentar cuadros de mando. Su propósito es actuar como un historial inmutable y auditable de lo que el sistema origen entregó en un momento dado. En este artículo detallamos cómo estructurar esta capa para que sea robusta, escalable y, sobre todo, capaz de soportar el reprocesamiento total de las capas posteriores sin depender de fuentes externas.

El principio de inmutabilidad y la estructura raw

El error más común es tratar la capa Bronze como una base de datos relacional tradicional. No lo es. Debe funcionar como un log de eventos o un histórico de instantáneas. El principio fundamental es la inmutabilidad: una vez que un dato entra en Bronze, no se modifica. Si un registro cambia en el origen, en Bronze simplemente insertamos la nueva versión del registro con una marca de tiempo superior.

Para que esta capa sea útil, debemos separar físicamente dos áreas dentro del Lakehouse en Microsoft Fabric: Anatomía, ACID y Motores de Consulta:

  • Landing / Raw Files: Una zona donde los archivos llegan en su formato original (CSV, JSON, Parquet, XML). Es una zona de paso o aterrizaje.
  • Bronze Tables: Los datos ya estructurados en tablas Delta, pero manteniendo los nombres de columna y tipos de datos (preferiblemente strings para evitar fallos de esquema) del origen.

Al mover los datos de la zona de Landing a las tablas Bronze, es obligatorio añadir metadatos de auditoría. Sin estos campos, el linaje de datos se rompe y la depuración de errores se vuelve una pesadilla técnica.

Metadatos esenciales en cada fila

Cada registro en una tabla Bronze debe contener, como mínimo, los siguientes campos técnicos:

  • _SourceFileName: El nombre exacto del archivo de origen.
  • _IngestionTimestamp: Fecha y hora exacta de la carga en UTC.
  • _BatchId: Un identificador único del proceso de carga (Pipeline Run ID).
  • _RowNumber: La posición original del registro en el archivo (útil para detectar duplicados técnicos).
# Ejemplo de ingesta en PySpark añadiendo metadatos de auditoría
from pyspark.sql.functions import input_file_name, current_timestamp, lit

# Ruta del archivo en la zona de Landing
landing_path = "Files/Landing/Ventas/Ventas_20231027.csv"

# Lectura del archivo RAW
df_raw = spark.read.format("csv") \
 .option("header", "true") \
 .option("inferSchema", "false") \
 .load(landing_path)

# Adición de columnas de auditoría
df_bronze = df_raw.withColumn("_SourceFileName", input_file_name()) \
 .withColumn("_IngestionTimestamp", current_timestamp()) \
 .withColumn("_BatchId", lit("RUN_ID_12345"))

# Escritura en tabla Bronze (Delta)
df_bronze.write.format("delta") \
 .mode("append") \
 .saveAsTable("Bronze_Ventas")

Patrones de carga: Full Load vs Incremental

La elección del patrón de carga determina la eficiencia de la capacidad de Fabric (CU). En sistemas con volúmenes de datos moderados (pocos GB), una carga completa (Overwrite) diaria puede ser aceptable por su sencillez. Sin embargo, en escenarios de retail o industria con millones de transacciones, debemos implementar patrones incrementales.

En Fabric, la herramienta ideal para orquestar este flujo es el uso de Notebooks combinados con Pipelines. Mientras que los Pipelines de datos son excelentes para el movimiento de archivos, los Ingeniería de datos en Fabric: Notebooks, Apache Spark y Jobs de alto rendimiento ofrecen el control necesario para gestionar watermarks (marcas de agua).

PatrónEscenario de usoVentaja técnicaInconveniente
Full OverwriteTablas maestras pequeñas (Categorías, Almacenes)Simplicidad absoluta, sin duplicadosCoste ineficiente en tablas grandes
Append OnlyLogs, Sensores, Transacciones históricasMáximo rendimiento de escrituraRequiere deduplicación en capa Silver
Merge (Upsert)Sistemas con actualizaciones frecuentesMantiene una imagen actual en BronzeOperación costosa en Delta Lake

Mi recomendación profesional es utilizar siempre Append Only en Bronze. ¿Por qué? Porque el Merge requiere que Spark lea los metadatos y las partes de la tabla para buscar coincidencias, lo cual consume tiempo y recursos. Si guardamos todo como Append, la escritura es inmediata. La lógica de «quedarme con la versión más reciente» la delegamos a la Capa Silver en Fabric: Guía de Limpieza, Deduplicación y Conformación, donde realmente ocurre el refinamiento.

Gestión del esquema y Schema Evolution

Uno de los mayores retos en la ingesta Bronze es el cambio inesperado en el origen. Un desarrollador de software añade una columna a la base de datos transaccional y, de repente, nuestro proceso de ETL falla. Microsoft Fabric, al utilizar Delta Lake, nos permite gestionar esto mediante mergeSchema.

En Bronze, debemos permitir que el esquema evolucione. No queremos que la ingesta falle porque haya una columna nueva; queremos capturarla para decidir después qué hacer con ella. Sin embargo, hay que tener cuidado con los cambios de tipos de datos. Mi consejo es leer todo como string en el primer paso y persistir el dato original. Esto evita que un cambio de decimal a entero rompa la ingesta.

# Escritura con evolución de esquema habilitada
df_bronze.write.format("delta") \
 .mode("append") \
 .option("mergeSchema", "true") \
 .save("Tables/Bronze_Clientes")

Si el volumen es masivo, es vital considerar el Diseño físico de tablas en Fabric: Particionado Delta y Liquid Clustering. Particionar por fecha de ingesta (_IngestionDate) permite que las consultas posteriores sean mucho más rápidas al limitar los archivos que el motor de Spark debe escanear.

Control de errores y Quarantine Pattern

¿Qué ocurre si un archivo llega corrupto o con un formato que el driver de Spark no puede parsear? Si el proceso se detiene, bloqueamos todo el flujo hacia Silver y Gold. El patrón de diseño recomendado es la Cuarentena.

  1. Intentamos leer el archivo con un esquema permisivo.
  2. Si Spark detecta filas corruptas (usando _corrupt_record), movemos esos registros a una tabla de errores.
  3. El resto de los datos procesables siguen su camino a la tabla Bronze.
# Configuración para capturar registros corruptos
df_raw = spark.read.format("csv") \
 .option("header", "true") \
 .option("columnNameOfCorruptRecord", "_corrupt_record") \
 .load(path)

# Filtrar registros sanos de corruptos
df_clean = df_raw.filter("_corrupt_record IS NULL")
df_errors = df_raw.filter("_corrupt_record IS NOT NULL")

# Persistir ambos para auditoría
df_clean.write.mode("append").saveAsTable("Bronze_Ventas")
if df_errors.count() > 0:
 df_errors.write.mode("append").saveAsTable("Bronze_Ventas_Errors")

Lista de errores frecuentes en la capa Bronze

  • Castear datos: Convertir fechas o importes en Bronze. Si el formato cambia en origen, la carga fallará y habrás perdido la trazabilidad del dato bruto.
  • Renombrar columnas: Intentar que las columnas se llamen como el negocio quiere. Eso se hace en Silver. Bronze debe reflejar el origen.
  • No usar Delta: Almacenar en Parquet plano o CSV en lugar de tablas Delta. Te pierdes el Time Travel y la capacidad ACID necesaria para cargas concurrentes.
  • Falta de particionamiento: Acumular millones de archivos pequeños en una sola carpeta sin una estrategia de partición por fecha, lo que degrada el rendimiento de lectura exponencialmente.

Conclusión y Checklist de diseño

La capa Bronze es el seguro de vida de tu arquitectura de datos. Un diseño robusto aquí permite reconstruir todo el Lakehouse desde cero si fuera necesario. En mis proyectos de consultoría, siempre insisto en que el tiempo invertido en automatizar una ingesta limpia y rica en metadatos se recupera con creces en la fase de mantenimiento.

Checklist de validación Bronze

  • ¿Los datos se almacenan en formato Delta Lake?
  • ¿Se incluyen columnas de auditoría (_IngestionTimestamp, _SourceFileName)?
  • ¿La carga es Append Only o gestiona la evolución del esquema sin fallar?
  • ¿Se ha evitado cualquier lógica de transformación de negocio o limpieza?
  • ¿Está definida la partición física de los datos para optimizar lecturas?

Preguntas frecuentes

¿Cuánto tiempo debo conservar los datos en la capa Bronze?

Depende del coste de almacenamiento (que en OneLake es bajo) y de las regulaciones legales (GDPR). Técnicamente, recomiendo conservar al menos 2-3 años para permitir reprocesamientos históricos o análisis de tendencias de largo plazo sobre datos crudos.

¿Es mejor usar Data Factory o Notebooks para la capa Bronze?

Data Factory es excelente para orquestar y mover datos de fuentes externas a la zona de Landing. Sin embargo, para pasar de Landing a tablas Bronze añadiendo metadatos y gestionando esquemas complejos, los Notebooks con PySpark ofrecen una flexibilidad y control de errores superior.

¿Debo aplicar seguridad RLS en la capa Bronze?

No es necesario ni recomendable. Solo el equipo de ingeniería de datos y los procesos de sistema deben tener acceso a Bronze. La seguridad de datos para usuarios finales se implementa en las capas Gold o mediante semántica de Power BI.

¿Cómo manejo los borrados físicos en el sistema origen?

Si un registro se borra en el origen, en Bronze no se borra. Si recibes un CDC (Change Data Capture), inserta el registro con una marca de «Deleted». La inmutabilidad de Bronze exige mantener el rastro de lo que ocurrió, incluso si fue una eliminación.


¿De cuánta utilidad te ha parecido este contenido?

¡Haz clic en una estrella para puntuarlo!

Puntuación media 0 / 5. Recuento de votos: 0

Hasta ahora, ¡no hay votos!. Sé el primero en puntuar este contenido.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *