¡Bienvenid@ a la actualización de abril de 2023 de Azure Synapse Analytics! Este mes, tenemos una nueva plantilla ARM para desplegar Azure Data Explorer DB con conexión Cosmos DB, así como actualizaciones adicionales en Apache Spark para Synapse, Synapse Data Explorer y Data Integration.
Apache Spark para Synapse
Optimización con Low Shuffle Merge en Delta Lake
La optimización con Low Shuffle Merge para tablas Delta ya está disponible en Apache Spark 3.2 y 3.3. Ahora puedes actualizar una tabla Delta con condiciones avanzadas utilizando el comando MERGE de Delta Lake. Este comando permite actualizar datos desde una tabla, vista o DataFrame de origen hacia una tabla de destino. El algoritmo actual del comando MERGE no está optimizado para manejar filas no modificadas. Con la optimización con Low Shuffle Merge, las filas no modificadas se excluyen de la costosa ejecución del Shuffle y se escriben por separado.
Synapse Data Explorer
Ingestión de datos desde Azure Events Hub a ADX tier gratuito
¿Buscas una forma potente y económica (o incluso gratuita) de analizar grandes volúmenes de datos de transmisión en tiempo casi real? Azure Data Explorer ahora admite la integración con Events Hub en el tier gratuito de ADX.
Events Hub es una plataforma de transmisión de datos masivos que puede procesar millones de eventos por segundo en tiempo casi real. Conectar tus datos de Event Hub a Azure Data Explorer es fácil y sencillo, y se puede realizar en unos pocos pasos simples utilizando un intuitivo asistente de ingestión “One-Click”.
Nuevo modelo ARM para desplegar Azure Data Explorer DB con conexión a Cosmos DB
Ahora está disponible un nuevo modelo ARM que despliega Azure Data Explorer DB con una conexión a Cosmos DB. Esto simplifica enormemente el despliegue de un clúster ADX que incluye:
- Una identidad asignada por el sistema
- Una base de datos
- Una cuenta de Azure Cosmos DB (NoSQL)
- Una base de datos de Azure Cosmos DB
- Un contenedor de Azure Cosmos DB
- Una conexión de datos entre el contenedor Cosmos DB y la base de datos Kusto (utilizando la identidad asignada por el sistema)
Nuevo diseño y apariencia para la barra de comandos de consulta en ADX Web
La barra de comandos de consulta de ADX Web ha experimentado un rediseño importante para ofrecer una mejor experiencia de usuario. El nuevo diseño no solo es visualmente atractivo, sino que también facilita y agiliza a los usuarios el acceso a los comandos que necesitan.
Integración de datos
Captura de datos modificados en el almacén analítico de Cosmos DB (Vista previa pública)
Al realizar procesos de integración de datos y ETL en la nube, tus trabajos pueden mejorar su rendimiento y ser más efectivos al leer solo los datos modificados desde tu origen. Nos complace compartir que el almacén analítico de Azure Cosmos DB ahora admite la captura de datos modificados (CDC) para Azure Cosmos DB API para NoSQL y Azure Cosmos DB API para MongoDB.
Disponible en Vista previa pública, esto te permitirá consumir de manera eficiente los datos continuos y modificados (insertados, actualizados y eliminados) desde el almacén analítico. Integrado sin problemas con Azure Synapse Analytics y Azure Data Factory, es una experiencia escalable y sin código para alto volumen de datos que no consumirá Unidades de solicitud (RU) aprovisionadas ni afectará el rendimiento de tus cargas de trabajo transaccionales, al tiempo que proporciona una latencia más baja y un menor costo total de propiedad (TCO).
Puedes consumir datos incrementales del almacén analítico desde un contenedor Cosmos DB utilizando Azure Synapse Analytics o Azure Data Factory después de habilitar la cuenta de Cosmos DB para Synapse Link y habilitar el almacén analítico en un nuevo contenedor o en un contenedor existente.
Esto es todo por este mes. Esperamos que pongas en práctica todas las nuevas funcionalidades y las disfrutéis al máximo. Además, no olvides contarnos qué te ha parecido la actualización, ¡nos encantaría saber tu opinión!
