Bienvenidos a la actualización de agosto de 2022. En esta última actualización se han anunciado las estadísticas automáticas para OPENROWSET, nuevos códigos para informar de errores, cómo incrustar cuadros de mando de Azure Data Explorer en aplicaciones de terceros, mejoras en la monitorización… ¡Y muchas más que descubrirás a lo largo de este blog!
SQL
Estadísticas automáticas para OPENROWSET en conjuntos de datos CSV
El SQL serverless pool se basa en las estadísticas para generar un plan de ejecución de consultas y una asignación de recursos óptimos. Anteriormente, había que crear manualmente estadísticas para los conjuntos de datos CSV cuando se consultaba con OPENROWSET, para poder obtener un rendimiento óptimo, debido a la falta de la función de autoestadística de CSV. Con esta mejora, serverless SQL pool creará automáticamente estadísticas para los conjuntos de datos CSV, cuando sea necesario, para garantizar que se genere un plan de ejecución de consultas óptimo. Esta función está actualmente habilitada sólo para OPENROWSET.
La mejora del rendimiento de las estadísticas CSV depende de la complejidad de la consulta y de la cantidad de datos procesados. El siguiente gráfico compara la duración de las consultas de TPCH sobre conjuntos de datos CSV de 10MB y 1TB con y sin estadísticas:
En ambos casos, la mejora es de un 25% sin esfuerzo adicional del usuario. Con esta mejora, las estadísticas se crearán automáticamente para tus conjuntos de datos CSV consultados con OPENROWSET. De este modo, podrás disfrutar de consultas más rápidas sobre archivos CSV.
MERGE T-SQL ya está disponible de forma general
El comando MERGE T-SQL para Azure Synapse Dedicated SQL pools ya está disponible de forma general. MERGE encapsula INSERTs/UPDATEs/DELETEs en una sola sentencia, facilitando drásticamente las migraciones y haciendo que la sincronización de tablas sea una maravilla.
Apache Spark para Synapse
Nuevos códigos informativos de errores de Livy
Para facilitar la resolución de errores de Spark en Azure Synapse Analytics, se ha introducido una lista más precisa de códigos de error, que describen la causa del fallo y sustituye a los anteriores códigos de error genéricos. Cuando un trabajo de Spark falla en Azure Synapse, ahora la función de gestión de errores analiza y comprueba los registros en el backend para identificar la causa raíz y la muestra en el panel de supervisión junto con los pasos a seguir para resolver el problema.
Ahora, los códigos de error se dividen en cuatro categorías diferentes:
- Usuario: Indica un error de usuario
- Sistema: Indica un error del sistema
- Ambiguo: Puede ser un error del usuario o del sistema
- Desconocido: No hay clasificación todavía, muy probablemente porque el tipo de error no está incluido en el modelo
De momento esta función está desactivada por defecto.
Explorador de datos Synapse
Configuración del proxy HTTP/HTTPS del conector Logstash
Logstash es una pipeline de procesamiento de datos del servidor de código abierto que ingiere datos de una multitud de fuentes, los transforma y luego los envía a su destino favorito.
El plugin Azure Data Explorer (ADX) Logstash te permite procesar eventos de Logstash en una base de datos Azure Data Explorer para su posterior análisis. La última versión, v1.0.5, ahora soporta proxies HTTP y HTTPS especificados a través de la configuración.
Soporte de Kafka Connect para el formato Protobuf
El uso de memorias intermedias de protocolo se está convirtiendo cada vez más en una opción de intercambio de datos en los sistemas basados en IoT debido al excelente soporte de esquemas, la extensibilidad a varias plataformas y la compresión. El conector ADX Kafka sink aprovecha el marco Kafka Connect y proporciona un adaptador para ingerir datos de Kafka en formato JSON, Avro, String y ahora Protobuf en la última actualización.
Incrustar cuadros de mando de Azure Data Explorer en aplicaciones de terceros
Ahora, los cuadros de mando de Azure Data Explorer se pueden incrustar en aplicaciones de terceros. Esto se suma a la posibilidad de incrustar el editor Monaco en aplicaciones de terceros.
Dashboard embedding te permite compartir fácilmente los datos con sus clientes de forma que puedan interactuar y explorarlos. Puedes gestionar qué controles formarán parte de la experiencia del cuadro de mando incrustado. Por ejemplo, puedes decidir eliminar el uso compartido y añadir elementos de menú de conexión.
Visualización del embudo
Funnel es el último visual que se ha añadido a los cuadros de mando de Azure Data Explorer, a raíz de los comentarios que se han recibido de los clientes. El embudo es utilizado para seguir los flujos secuenciales para analizar el desgaste de una etapa a otra.
Compatibilidad con .NET y Node.js en el generador de aplicaciones de muestra
El asistente del generador de aplicaciones de muestra es una herramienta que te permite crear una aplicación de trabajo para ingerir y consultar datos en tu lenguaje de programación preferido. Puedes utilizar este código generado como base para escribir tus propias aplicaciones, modificando el código sobre la marcha, o puedes copiar secciones del código en tus propias aplicaciones. El código incluye comentarios con consejos, mejores prácticas, enlaces a material de referencia y cambios recomendados como TODO para adaptar el código a tus necesidades.
Integración de datos
Vista del diagrama de Gantt en la monitorización del tiempo de ejecución de la integración
Ahora tienes la opción de ver las ejecuciones de tus actividades con un diagrama de Gantt en la monitorización del tiempo de ejecución de la integración. Un diagrama de Gantt es una vista que te permite ver el historial de ejecuciones en un rango de tiempo. Esto te dará vistas adicionales para el monitoreo de los integration runtimes.
Mejoras en la monitorización
Se ha lanzado un nuevo paquete de mejoras en la experiencia de monitorización basado en los comentarios de los usuarios.
Clasificación: Ahora hay más columnas disponibles para ordenar. Anteriormente, sólo se podía ordenar por Inicio de ejecución. Ahora, puedes ordenar por Nombre de la tubería, Fin de la ejecución y Estado. Además, también se puede ordenar por Nombre y Estado de la activación cuando se ven las activaciones.
Informe de consumo de pipelines: El informe de consumo de la pipeline ahora muestra un icono de carga para hacerte saber cuándo la información de consumo se ha calculado completamente.
Agrupación de las pipelines reutilizadas: Anteriormente, cuando se volvían a ejecutar las pipelines, se recuperaban todas las repeticiones para la interfaz de supervisión, incluso cuando las reejecuciones no eran visibles. Ahora, las reejecuciones de las agrupaciones de pipelines sólo obtendrán esos datos cuando se amplíe la agrupación. Esto mejorará el rendimiento de las páginas de monitorización que tienen múltiples agrupaciones de reejecución de pipelines.
Configuración de la zona horaria: Los ajustes de la zona horaria de la monitorización se guardan ahora en la caché del navegador juntamente con las columnas configuradas para que no tengas que reconfigurar los ajustes cada vez.
Ejecuciones de pipelines: Al supervisar las ejecuciones de las pipelines, todos los registros para pipelines con muchas actividades se recuperan. Ahora se han añadido páginas para que puedas navegar por todos los registros de actividades.
Optimización de la columna máxima en el flujo de datos de mapeo
Para las fuentes de datos CSV, se ha añadido un nuevo ajuste que permite establecer el número máximo de columnas. El valor predeterminado es 20480, por lo que, si tienes más de 20480 columnas, puedes personalizar este valor y optimizarlo para tu conjunto de datos.
Soporte para la conversión de NÚMEROS a enteros en el conector de origen de Oracle
Se ha añadido un nuevo soporte para convertir el tipo NUMBER de Oracle a su correspondiente valor entero: convertDecimalToInteger, que te permitirá convertir el tipo NUMBER desde cero a una escala no especificada al entero correspondiente.
Soporte para el envío de un bloque con el método DELETE de solicitud HTTP en la actividad web
Se ha añadido soporte opcional para el envío de un body cuando se utiliza el método DELETE en la actividad web. Esto es útil en el caso de que tu punto final web espere que se pase un cuerpo con el método HTTP request DELETE.
