Shortcuts en OneLake: Virtualización de datos multicloud en Microsoft Fabric

La arquitectura de datos moderna ha pasado de la obsesión por centralizarlo todo físicamente a la necesidad de federar y virtualizar. En Microsoft Fabric, el concepto de Shortcuts (Atajos) en OneLake es la pieza que permite esta transición. No se trata de una simple importación ni de un proceso ETL tradicional; es una capa de punteros lógicos que permite que los datos que residen en Azure Data Lake Storage Gen2, Amazon S3 o Google Cloud Storage aparezcan como si estuvieran localmente en tu Lakehouse de Fabric.

Como consultor, veo con demasiada frecuencia proyectos que fracasan por intentar mover petabytes de datos de una nube a otra simplemente para que Power BI pueda leerlos. El movimiento de datos no solo es caro por el tiempo de ingeniería y mantenimiento de pipelines, sino por los costes de salida (egress) que cobran los proveedores de nube. Los shortcuts eliminan este paso intermedio, permitiendo que el motor de computación de Fabric (Spark, SQL o el modo Direct Lake de Power BI) acceda directamente al origen.

Sin embargo, la virtualización no es una solución mágica para todos los casos. Antes de implementarlo, debemos entender que, aunque no movamos los datos, seguimos consumiendo ancho de banda y latencia de red. En este artículo detallamos cómo configurar estos atajos, cuándo son la mejor opción y en qué escenarios el rendimiento puede verse comprometido.

Conceptos fundamentales: ¿Por qué usar Shortcuts?

Un shortcut es un objeto en OneLake que apunta a otra ubicación de almacenamiento, ya sea interna dentro de Fabric o externa en otros proveedores cloud. La ventaja principal es que OneLake mantiene el metadato del objeto, pero el dato real no se duplica. Cuando una consulta SQL o un Notebook de Spark accede al atajo, OneLake resuelve la ruta hacia el origen en tiempo de ejecución.

Existen dos grandes categorías que debemos distinguir:

• Internal Shortcuts: Conectan datos entre diferentes Workspaces o ítems (Lakehouses, Warehouses) dentro del mismo tenant de Fabric. Es la solución ideal para evitar silos departamentales sin crear copias de seguridad de las mismas tablas.
• External Shortcuts: Conectan OneLake con nubes ajenas (AWS, GCP) o con cuentas de ADLS Gen2 externas. Aquí es donde entra en juego la verdadera capacidad multicloud de Fabric.

Para profundizar en cómo se estructuran estos accesos, te recomiendo revisar OneLake: Entender rutas y acceso externo en Microsoft Fabric, donde detallamos la jerarquía de carpetas y el direccionamiento URL.

Configuración de Atajos Internos: Evitando la duplicidad

En proyectos de tamaño medio o grande, es común tener un Lakehouse de «Ingesta» y otro de «Refinado». En lugar de usar un Notebook para copiar tablas Delta de un sitio a otro, creamos un atajo interno. Esto es especialmente útil cuando seguimos un modelado de datos en Power BI basado en arquitecturas Medallion (Bronze, Silver, Gold).

Al crear un atajo interno, el rendimiento es prácticamente nativo. No hay latencia de red significativa porque todo ocurre dentro de la infraestructura troncal de Microsoft. Además, la seguridad se simplifica, aunque es vital entender cómo se heredan los permisos. Si un usuario tiene acceso al Lakehouse de destino pero no al origen del atajo, no podrá ver los datos, a menos que se utilicen roles específicos. Para gestionar esto correctamente, consulta nuestra guía sobre seguridad granular en OneLake.

Conexión con Amazon S3 y Google Cloud Storage

Este es el escenario que justifica la inversión en Fabric para muchas empresas. Imaginemos que el equipo de Logística usa AWS y guarda sus telemetrías en S3 en formato Parquet, mientras que el equipo de Ventas usa Azure. Con los shortcuts, el analista de BI puede crear un modelo en estrella que combine ambos mundos sin un solo pipeline de Data Factory.

Requisitos para Amazon S3:

• Access Key y Secret Key: Necesitas un usuario IAM en AWS con permisos s3:Get* y s3:List* sobre el bucket.
• Endpoint: La URL del bucket debe ser accesible.
• Formato: Aunque OneLake lee cualquier archivo, el rendimiento óptimo se obtiene con Delta, Parquet o Avro.

Un error común que he visto en implementaciones multicloud es no configurar correctamente el Trust Relationship. Fabric requiere que el bucket de S3 permita las conexiones entrantes desde las IPs de los servicios de Microsoft, o bien usar claves de acceso con los permisos mínimos necesarios para evitar brechas de seguridad.

Acceso a datos vía Spark y SQL

Una vez creado el atajo, su uso es transparente. Si has creado un atajo llamado ventas_aws en la carpeta Tables de tu Lakehouse, puedes consultarlo directamente con Spark como si fuera una tabla local.

# Leer datos desde un shortcut en un Notebook de Fabric
df_ventas = spark.read.format("delta").load("Tables/ventas_aws")

# Realizar una transformación simple de fecha
# Para más detalles sobre fechas, ver: https://zondeal.com/fechas-zonas-horarias-pyspark-fabric/
from pyspark.sql.functions import col, to_date

df_limpio = df_ventas.withColumn("FechaPedido", to_date(col("Fecha")))
display(df_limpio.limit(10))

Desde el punto de vista del SQL Analytics Endpoint, el atajo aparece como una tabla más en el esquema dbo. Esto permite que herramientas que solo hablan SQL puedan beneficiarse de datos que residen físicamente en otra nube.

-- Consulta SQL sobre un shortcut que apunta a AWS S3
SELECT 
 p.NombreProducto,
 SUM(v.Importe) AS TotalVentas
FROM dbo.ventas_aws AS v
JOIN dbo.Productos_Local AS p ON v.ID_Producto = p.ID_Producto
GROUP BY p.NombreProducto
ORDER BY TotalVentas DESC;

Es importante notar que, aunque la sintaxis es idéntica, el tiempo de respuesta de la primera consulta (cold start) será mayor en shortcuts externos debido a la negociación de la conexión y la latencia de red entre regiones de Azure y AWS/GCP.

Limitaciones técnicas y trade-offs

No todo es ventaja. Como consultor, siempre advierto sobre tres puntos críticos antes de abusar de los shortcuts:

1. Costes de Egress (Salida): AWS y Google cobran por cada GB que sale de su red hacia internet (o hacia Azure). Si usas un shortcut para alimentar un modelo de Power BI que se refresca 8 veces al día y mueve 100GB en cada refresco, la factura de AWS subirá rápidamente. En estos casos, a veces sale más a cuenta un movimiento físico programado (ETL) una vez al día.
2. Latencia de red: Si el bucket de S3 está en la región us-east-1 (Virginia) y tu capacidad de Fabric está en West Europe (Ámsterdam), la latencia penalizará las consultas pesadas. Siempre intenta que los recursos estén en regiones geográficamente cercanas.
3. Esquema en lectura (Schema-on-read): Si los archivos en el origen cambian de estructura (se borra una columna en el CSV original), el shortcut fallará en Fabric. No hay una validación de esquema activa como en una base de datos SQL tradicional.

Si buscas una solución más integrada para bases de datos transaccionales, quizás te interese el consumo de bases de datos espejadas en Fabric, que ofrece una sincronización casi en tiempo real con menos configuración manual.

Lista de errores frecuentes en la implementación

• No usar Delta Lake: Conectar shortcuts a carpetas con miles de archivos CSV pequeños. El rendimiento será pésimo. Es mejor apuntar a carpetas con archivos Parquet o Delta optimizados (V-Order).
• Permisos insuficientes en el origen: Olvidar que el usuario que crea el atajo necesita permisos de lectura y listado de directorios en la nube de origen.
• Shortcuts en cadena: Crear un atajo que apunta a otro atajo que apunta a un tercer atajo. Esto añade capas de resolución de nombres que degradan el rendimiento y dificultan el seguimiento del linaje de datos.
• Ignorar la región: Mezclar regiones cloud sin analizar el coste. La virtualización no elimina las leyes de la física ni las tarifas de los proveedores.

Checklist para una arquitectura de Shortcuts exitosa

• [ ] Confirmar que el formato de origen es preferiblemente Parquet o Delta.
• [ ] Verificar que la región de Azure de Fabric coincide o es cercana a la región del origen externo.
• [ ] Configurar identidades delegadas o claves con el principio de mínimo privilegio.
• [ ] Realizar una prueba de rendimiento comparando una carga directa frente al shortcut.
• [ ] Documentar el linaje de datos para que los usuarios finales sepan que esos datos dependen de una nube externa.

Preguntas frecuentes

¿Los shortcuts afectan al rendimiento de Power BI en modo Direct Lake?

Sí, pueden afectarlo. Direct Lake confía en la rapidez de OneLake para cargar columnas en memoria. Si el shortcut apunta a una nube externa con alta latencia, el tiempo de carga inicial del informe será mayor que si los datos estuvieran físicamente en OneLake.

¿Puedo crear un shortcut a una carpeta local de mi servidor on-premise?

No directamente mediante Shortcuts de OneLake. Los shortcuts requieren una URL de almacenamiento cloud (S3, ADLS, GCS). Para datos on-premise, deberás usar un Data Gateway y un pipeline para mover los datos o utilizar un bypass vía archivos de texto si el volumen es bajo.

¿Es posible escribir datos en un shortcut?

Los shortcuts son principalmente de lectura para el motor de Fabric que los consume, pero si el usuario tiene permisos de escritura en el origen (ej. ADLS Gen2), técnicamente se podrían realizar operaciones de escritura. Sin embargo, la mejor práctica es tratarlos como fuentes de solo lectura para preservar la integridad del origen.

¿Cuántos shortcuts puedo tener en un Lakehouse?

No hay un límite práctico estricto documentado por Microsoft que afecte a la mayoría de proyectos, pero tener cientos de atajos en un solo ítem dificulta enormemente el gobierno de datos y la gestión de permisos.

Necesita ayuda optimizando fórmulas DAX, modelos semanticos, informes lentos contrata nuestros servicios de zondeal.com aquí