diciembre 18, 2021

Azure Synapse Link para Dataverse

Azure Synapse Link para Dataverse nos permite obtener información casi en tiempo real sobre datos alojados en Dataverse.

Azure Synapse Link para Dataverse

Antes de explicar que es Azure Synapse Link for Dataverse pongamos en contexto de donde parte esta tecnología y que ha pasado con su predecesora.

Para los mas veteranos del lugar, nos será mucho mas familiar el servicio de exportación de datos, conocido como Data Export. Se trataba de un servicio disponible a través de Microsoft AppSource que proporcionaba la capacidad de replicar datos de Microsoft Dataverse en una base de datos de Azure SQL.

Nótese que hablo en pasado, ya que este servicio pese a que  continuará funcionando y será totalmente compatible hasta noviembre de 2022, pasada esa fecha, el servició quedará deprecado. Por lo tanto, esto abre un nuevo escenario para todas aquellos proyectos que estén utilizando Data Export en la actualidad ( por mi experiencia personal puedo decir que son muchos).

Es muy importante incorporar  Azure Synapse Link for Dataverse en todas aquellas implementaciones que utilizaran Data Export.

Azure Synapse Link para Dataverse nos permite obtener información casi en tiempo real sobre datos alojados en Dataverse. Con una configuración muy sencilla (no-code) podemos transportar los datos de Dataverse a Azure Synapse, visualizar datos en el área de trabajo y comenzar a procesar los datos para descubrir información mediante capacidades analíticas avanzadas como:

  • La exploración del lago de datos sin servidor.
  • La integración de datos sin código.
  • Flujos para extraer, transformar, cargar datos (ETL).
  • Apache Spark optimizado para el análisis de Big Data.

Podemos utilizar  T-SQL para analizar Big Data y obtener información relevante de los datos alojados en Dataverse, al tiempo que se optimizan los pipelines de transformación de datos para aprovechar la integración profunda de Azure Synapse con otros servicios de Azure como Power BI, Azure CosmosDB, Azure Machine Learning y Azure Cognitive Services.

El gran problema que tenía Data Export es que únicamente se trataba de un servicio de exportación de datos. Una vez teníamos los datos fuera de Dataverse, había que realizar el resto de tareas, con servicios muy dispares ( a veces con complicaciones muy grandes de compatibilidad). Ahora, con este nuevo servicio, Azure Synapse Link for Dataverse, no solo nos ofrece la posibilidad de exportar los datos, sino que nos permite trabajar con ellos desde un mismo lugar, aplicando capas de machine learning, big data y reporting todo desde un mismo sitio. Además los los datos se almacenan en el formato Common Data Model, que proporciona coherencia semántica en las aplicaciones y las implementaciones.

Mediante Azure Synapse Link, podemos exportar datos de forma continua desde:

  • Dataverse a Azure Synapse Analytics
  • Dataverse a Azure Data Lake Storage Gen2

Se pueden exportar tanto tablas estándar como personalizadas. Todas las operaciones de creación, actualización y eliminación se exportan desde Dataverse al lago de datos. El servicio admite escrituras iniciales e incrementales para datos de tabla y metadatos. Los cambios se envían al destino sin necesidad de configurar intervalos de actualización.

Y los casos de uso no se limitan solo a crear informes o ejecutar IA y aprendizaje automático. También hay casos en los que podemos combinar datos de Dataverse en Azure Synapse Analytics con datos externos. Esto enriquece todavía mas la información y nos brinda de una flexibilidad (todo con no-code) hasta ahora difícilmente imaginable.