Microsoft Fabric

Data Factory en Microsoft Fabric: Dataflows Gen2 vs Pipelines para orquestación

17 noviembre, 2026 · 9 min de lectura
0
(0)

La llegada de Microsoft Fabric ha redefinido las herramientas de integración de datos que conocíamos en el ecosistema de Azure y Power BI. Dentro de la carga de trabajo de Data Factory, nos encontramos con dos componentes principales que, aunque comparten el objetivo de mover y transformar datos, tienen propósitos y arquitecturas radicalmente distintos: Dataflows Gen2 y Data Pipelines.

Como consultor, uno de los errores más frecuentes que observo en implementaciones de Fabric es intentar forzar el uso de Dataflows Gen2 para tareas de orquestación compleja o, por el contrario, usar Pipelines para transformaciones granulares que serían mucho más ágiles en una interfaz visual. No se trata de elegir uno sobre otro de forma absoluta, sino de entender cómo se complementan para construir una arquitectura robusta sobre OneLake: Arquitectura y estrategias de implementación en Microsoft Fabric.

En este artículo desglosamos cuándo la potencia de Power Query M es suficiente y cuándo debemos delegar la ejecución a las actividades de un Pipeline para garantizar la escalabilidad y el control de errores en entornos de producción.

Dataflows Gen2: La evolución de Power Query hacia OneLake

Dataflows Gen2 es la evolución natural de los flujos de datos de Power BI, pero con una diferencia crítica: ahora los datos no se quedan atrapados en un almacenamiento interno propietario, sino que pueden escribirse directamente en un Lakehouse, un Data Warehouse o una base de datos SQL de Azure. Esta capacidad de definir un «Data Destination» es lo que convierte a Dataflows Gen2 en una herramienta ETL de primer nivel para analistas de datos.

La gran ventaja competitiva es el lenguaje M. Para un equipo que ya domina Power BI, la curva de aprendizaje es nula. Sin embargo, bajo el capó, Gen2 utiliza un motor de computación de alta escala que traduce los pasos de Power Query en operaciones optimizadas. Si el origen de datos lo permite, Dataflow Gen2 utiliza «Fast Copy» para mover grandes volúmenes de datos a un área de staging antes de aplicar las transformaciones.

¿Cuándo usar Dataflows Gen2?

  • Transformaciones complejas de columnas: Pivotar, despivotar, limpiar cadenas de texto o parsear JSON complejos es mucho más rápido de desarrollar en la interfaz visual de Gen2.
  • Integración con orígenes diversos: Si necesitas conectar con una API REST, un SharePoint o un Excel alojado en OneDrive, Power Query sigue siendo la opción más flexible.
  • Cargas pequeñas y medianas: Para dimensiones y tablas de hechos que no superen los pocos millones de filas, el rendimiento es excelente.

A continuación, un ejemplo de código M que podrías encontrar en un Dataflow Gen2 para normalizar una tabla de Ventas_Brutas antes de cargarla en el Lakehouse:

let
 // Conexión al origen de datos
 Origen = Sql.Database("servidor-retail.database.windows.net", "DB_Ventas"),
 Ventas_Tabla = Origen{[Schema="dbo", Item="Ventas_Brutas"]}[Data],
 
 // Filtrado de registros nulos en campos clave
 FiltrarNulos = Table.SelectRows(Ventas_Tabla, each [ID_Venta] <> null),
 
 // Transformación de tipos y limpieza
 TiposCambiados = Table.TransformColumnTypes(FiltrarNulos, {{
 "Fecha", type date, 
 "Importe", Currency.Type, 
 "Unidades", Int64.Type
 }}),
 
 // Creación de columna personalizada para margen estimado
 MargenCalculado = Table.AddColumn(TiposCambiados, "Margen_Estimado", each [Importe] * 0.15, Currency.Type)
in
 MargenCalculado

Data Pipelines: El cerebro de la orquestación

Si los Dataflows son los obreros que transforman el material, los Pipelines son los directores de obra. Un Pipeline en Fabric no está diseñado para transformar datos fila a fila (aunque la actividad de Copy permite mapeos básicos), sino para coordinar cuándo y cómo se ejecutan las tareas. Esto es vital cuando tu arquitectura depende de la Matriz de Decisión entre Lakehouse y Data Warehouse.

El corazón de los Pipelines es la Copy Activity, capaz de mover petabytes de datos con un rendimiento que Power Query no puede alcanzar. Además, permite implementar lógica condicional (If/Else), bucles (ForEach) y manejo de errores (On Failure), algo de lo que los Dataflows carecen por diseño.

Capacidades exclusivas de Pipelines

La verdadera potencia surge cuando usamos un Pipeline para disparar otros elementos de Fabric. Por ejemplo, puedes usar un Pipeline para ejecutar un Notebook de Python que realice un entrenamiento de modelo y, solo si tiene éxito, refrescar un Dataflow que prepare los datos para el informe final.

CaracterísticaDataflows Gen2Data Pipelines
Motor principalMashup Engine (M)Fabric Data Factory Engine
Interfaz de usuarioVisual (Power Query)Diagrama de flujo de actividades
Volúmenes de datosPequeño / MedioMasivo (Petabytes)
DestinosLakehouse, Warehouse, SQL, KQLCualquier almacén vía Copy Activity
Control de flujoSecuencial simpleBucles, condicionales, variables
ExtensibilidadLimitada a funciones MNotebooks, Stored Procedures, APIs

Patrón de diseño recomendado: El enfoque híbrido

En proyectos reales de sector industrial o retail, no elegimos uno. Usamos ambos. El patrón estándar consiste en usar un Pipeline como envoltorio de todo el proceso ETL. Dentro de este Pipeline, llamamos a uno o varios Dataflows para la limpieza de datos y a Notebooks para el procesamiento pesado.

Por ejemplo, si necesitas actualizar una dimensión de Producto en un Data Warehouse, lo ideal es orquestar la ejecución mediante un procedimiento almacenado T-SQL invocado desde el Pipeline. Esto garantiza que la lógica de negocio se ejecute lo más cerca posible de los datos, aprovechando el motor de SQL de Fabric.

-- Procedimiento ejecutado desde un Fabric Pipeline
CREATE PROCEDURE dbo.usp_ActualizarDimProducto
AS
BEGIN
 -- Insertar nuevos productos desde el staging
 INSERT INTO dbo.DimProducto (SKU, NombreProducto, Categoria, FechaAlta)
 SELECT s.SKU, s.Nombre, s.Cat, GETDATE()
 FROM staging.Productos s
 WHERE NOT EXISTS (
 SELECT 1 FROM dbo.DimProducto p WHERE p.SKU = s.SKU
 );

 -- Actualizar precios si han cambiado
 UPDATE p
 SET p.PrecioUnitario = s.Precio,
 p.FechaModificacion = GETDATE()
 FROM dbo.DimProducto p
 INNER JOIN staging.Productos s ON p.SKU = s.SKU
 WHERE p.PrecioUnitario <> s.Precio;
END;

Este enfoque permite que, una vez finalizada la carga técnica, el usuario final consuma los datos mediante Power BI y Direct Lake, eliminando la necesidad de refrescos de dataset tradicionales.

Cuándo evitar Dataflows Gen2

A pesar de su versatilidad, he visto muchos proyectos fallar por abusar de Dataflows Gen2. Debes evitar usarlos como tu única herramienta ETL si te encuentras en alguno de estos escenarios:

  1. Más de 50 transformaciones en un solo flujo: El motor Mashup puede volverse inestable y difícil de depurar. Divide la lógica.
  2. Necesidad de orquestación dependiente: Si el Paso B solo debe ejecutarse si el Paso A insertó más de 1000 filas, necesitas un Pipeline con una actividad Lookup y un If Condition.
  3. Grandes transformaciones de tipo Join/Merge: Si estás uniendo dos tablas de 50 millones de filas, hazlo en un Notebook con PySpark o mediante SQL en el Warehouse. Los Dataflows sufrirán por la gestión de memoria del motor de integración.

Para escenarios de Big Data, lo más eficiente es recurrir a Spark. Un Notebook puede ser invocado desde un Pipeline y ofrece un control total sobre el particionamiento de los datos en Delta Lake en OneLake.

# Código PySpark en un Notebook de Fabric invocado por un Pipeline
from pyspark.sql.functions import col, sum

# Leer datos de ventas desde el Lakehouse
df_ventas = spark.read.format("delta").load("Files/VentasRecientes")

# Agregación pesada que superaría el tiempo de timeout de un Dataflow
df_resumen = df_ventas.groupBy("ID_Tienda", "ID_Producto") \
 .agg(sum("Importe").alias("TotalVentas"), sum("Unidades").alias("TotalUnidades"))

# Escribir resultado en formato Delta optimizado
df_resumen.write.format("delta").mode("overwrite").saveAsTable("Fact_ResumenVentas")

Checklist para tu arquitectura de integración

  • ¿El equipo tiene habilidades en SQL/Python o prefiere una interfaz visual? (Visual = Dataflows / Código = Notebooks/Pipelines).
  • ¿Los datos de origen están fuera de Fabric? Considera Shortcuts en OneLake para evitar el movimiento innecesario de datos.
  • ¿Necesitas disparar la carga mediante un evento o una programación compleja? Usa Pipelines.
  • ¿La transformación implica lógica de limpieza de texto pesada? Usa Dataflows Gen2.
  • ¿El destino final requiere seguridad granular? Asegúrate de que el proceso ETL respete la arquitectura definida para el acceso a datos.

Preguntas frecuentes

¿Puedo migrar mis Dataflows de Power BI a Fabric Dataflows Gen2 automáticamente?

No existe un botón de migración directa, pero puedes copiar y pegar el código M desde el Editor Avanzado. Ten en cuenta que deberás configurar manualmente el «Data Destination» para que los datos se guarden en el Lakehouse o Warehouse de Fabric, ya que el comportamiento por defecto de Gen2 es diferente al de Gen1.

¿Es más caro usar Pipelines o Dataflows Gen2?

Ambos consumen unidades de capacidad (CU) de Fabric, pero de forma distinta. Los Pipelines suelen ser más económicos para el movimiento de datos puro (Copy Activity), mientras que los Dataflows Gen2 pueden consumir más recursos debido a la sobrecarga del motor Mashup y el proceso de staging intermedio.

¿Qué pasa si mi Dataflow Gen2 tarda mucho en refrescar?

Primero, verifica si el «Staging» está habilitado. Para conjuntos de datos grandes, el staging permite que Fabric use el motor de SQL para realizar las transformaciones en lugar del motor de Power Query, lo cual es significativamente más rápido. Si aun así es lento, considera mover las transformaciones más pesadas a un Notebook o a una vista de SQL.

¿Se pueden usar Pipelines para llamar a APIs externas?

Sí, mediante la actividad «Web» o «Web Activity». Sin embargo, para procesar la respuesta JSON de una API y guardarla de forma tabular, suele ser más sencillo usar un Dataflow Gen2 (por su facilidad para aplanar estructuras jerárquicas) o un Notebook de Python si la API requiere autenticación compleja o paginación avanzada.

»
}


¿De cuánta utilidad te ha parecido este contenido?

¡Haz clic en una estrella para puntuarlo!

Puntuación media 0 / 5. Recuento de votos: 0

Hasta ahora, ¡no hay votos!. Sé el primero en puntuar este contenido.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *