Databricks estrena en beta el Governance Hub, un centro de control a nivel de cuenta que responde en una sola vista a las tres preguntas que toda organización con plataforma de datos debería poder contestar: qué está pasando con mis datos, con mi IA y con mi gasto. Te explicamos cómo funciona y qué conviene tener preparado para sacarle partido desde el primer día.
¿Cuánto llevamos gastado este mes y en qué? ¿Quién puede acceder a qué datos, y por qué vía? ¿Hay alguien consultando información sensible sin enmascarar? Son preguntas que cualquier responsable de plataforma se hace, y que hasta ahora obligaban a construirse la respuesta a mano: consultas sobre las system tables, dashboards a medida, revisiones workspace a workspace. La información existía, pero dispersa y con coste de elaboración.
Qué es el Governance Hub
El Governance Hub es una consola de gobernanza que opera a nivel de toda la cuenta de Databricks, no de un workspace concreto. Se abre desde la consola de cuenta (accounts.azuredatabricks.net) y organiza la información en cuatro páginas: Datos, IA, Coste y Etiquetas, cada una con su panel de recomendaciones priorizadas.
Hay dos detalles de diseño que están especialmente bien resueltos:
- El primero es que no introduce permisos nuevos ni gestiona accesos: cada persona ve exactamente lo que sus permisos de Unity Catalog, la capa de gobierno de la plataforma, ya le permiten ver. El administrador de cuenta lo ve todo, un administrador de workspace ve el coste de sus workspaces y puede crear presupuestos acotados a ellos, y un administrador de metastore ve los datos de sus metastores.
- El segundo es el selector de ámbito: por defecto se muestra la cuenta entera, pero basta un clic para acotar todos los paneles a un workspace o a un metastore concreto. La misma consola sirve para la foto global del comité de dirección y para el detalle operativo de cada equipo.
La página de Datos: quién usa qué, y con qué salud
La página de Datos resume el patrimonio completo: cuántos catálogos y activos existen (tablas, vistas, modelos, volúmenes y funciones), cuántas etiquetas gobernadas hay definidas y cuántas consultas ha recibido todo el patrimonio en los últimos 30 días.
Desde ahí se puede bajar a la vista de uso, que muestra la tendencia de consultas, un mapa de qué metastores concentran la actividad y la lista de tablas ordenadas por popularidad, con posibilidad de acotar por metastore, catálogo y esquema. Saber cuáles son tus tablas más consultadas parece básico; en la práctica, pocas organizaciones lo tienen a un clic.
La vista de acceso permite seleccionar cualquier usuario o grupo y ver todos los objetos a los que puede llegar, filtrando por catálogo, tipo de acceso y origen, es decir, por qué vía obtuvo cada permiso. Quien haya hecho alguna vez una revisión de accesos a mano sabe lo que vale esto.
Y hay dos métricas que hasta ahora costaba mucho consolidar:
- La métrica de clasificación indica, de las tablas con la clasificación de datos activada, qué porcentaje tiene detecciones de datos sensibles, cuáles son las categorías sensibles más detectadas y, sobre ellas, qué porcentaje de usuarios ha accedido sin enmascaramiento de columnas en los últimos siete días. Para quien trabaja en entornos regulados, este dato solo ya justifica activar el hub.
- La métrica de calidad muestra, de las tablas con monitorización activa, qué porcentaje está en buen estado, con los metastores más degradados listados primero y un enlace directo al workspace para revisar cada caso.
La página de Coste: contra tu presupuesto, contra tu histórico y con avisos
Es probablemente la página de adopción más inmediata, porque mide el gasto contra las tres referencias que importan.
Contra tu propio histórico: el gasto de los últimos 30 días y el del mes en curso aparecen siempre comparados con el período anterior, junto al promedio diario y la tendencia día a día. Un pico de gasto queda a la vista sin necesidad de ir a buscarlo.
Contra presupuesto: cada presupuesto admite hasta cuatro umbrales mensuales con alertas por correo, y el hub muestra de un vistazo cuántos han agotado su límite. En los presupuestos de Unity AI Gateway se puede fijar además un umbral por usuario, con opción de bloquear nuevas peticiones a los modelos cuando se alcanza, y definir excepciones para usuarios o grupos que necesiten un límite superior.
Contra tu propia estructura: el Explorador permite filtrar y agrupar el gasto por producto, workspace, etiqueta o recurso individual, bajando hasta el clúster, el pipeline, el job, el endpoint de serving o el SQL warehouse concreto que genera el coste. La misma vista enseña qué porcentaje del gasto está etiquetado y te lleva directamente a los recursos que faltan por etiquetar. Sin etiquetas no hay forma de imputar el coste a equipos o proyectos, y el hub convierte ese hueco en una lista de trabajo concreta.
Dos cosas conviene tener presentes al usarlo: los importes se muestran a precio de lista, sin descuentos negociados, y las alertas de presupuesto pueden tardar hasta 24 horas, salvo en AI Gateway, donde el seguimiento es casi en tiempo real. Es una herramienta de control, no un límite de facturación garantizado.
La página de IA: el gasto que nadie estaba mirando
La página de IA trata el consumo de modelos como una dimensión propia de gobierno: tokens consumidos, peticiones y gasto por modelo, por familia de modelos y por usuario, y los modelos y usuarios más activos de los últimos 30 días, con salto directo a la vista de Unity AI Gateway de cada endpoint. Incluye además un indicador que pocas organizaciones sabrían dar hoy: qué porcentaje del tráfico de IA pasa por salvaguardas, los controles que filtran o limitan las peticiones a los modelos.
Con la inferencia creciendo dentro de las plataformas de datos, separar este gasto del cómputo tradicional deja de ser opcional.
Etiquetas gobernadas: mejor organización y gobernanza del dato
La cuarta página cierra el círculo. Las etiquetas gobernadas se definen a nivel de cuenta, con permisos sobre quién puede crearlas y administrarlas, y la página muestra las asignaciones recientes, el uso de cada etiqueta y recomendaciones para corregir las lagunas.
Es la respuesta de Databricks a un problema que vemos constantemente: cuando cada equipo inventa sus propias etiquetas, el etiquetado deja de servir para imputar costes o clasificar datos en cuestión de meses.
Las recomendaciones: el hub te dice por dónde empezar
Cada página incluye un panel de recomendaciones priorizadas con los recursos afectados y su uso reciente. Ejemplos de lo que aparece: tablas muy consultadas sin etiquetas ni descripción, activos sin uso candidatos a retirarse, cómputo intensivo sin etiquetar, modelos de alto volumen sin tablas de inferencia (el registro de peticiones y respuestas que permite auditarlos) ni modelo de respaldo.
Las recomendaciones son de solo lectura: señalan el hueco y te llevan a la lista completa de afectados, pero corregir sigue siendo trabajo de personas con criterio. El hub reduce drásticamente el coste de ver; el trabajo de gobernar sigue siendo tuyo.
Cómo se activa y qué preparar
La activación es sencilla, un administrador de cuenta habilita la beta desde la página de vistas previas de la consola de cuenta, y los datos tardan hasta un día en cargarse. Lo que no es automático es que lo que veas sea útil.
Nuestra recomendación empieza por una taxonomía de etiquetas con dueño: un conjunto cerrado de claves y valores, un responsable de mantenerlo y una norma clara de qué se etiqueta obligatoriamente, como mínimo todo cómputo y todo endpoint.
En esa taxonomía conviene definir también dominios: etiquetas que separan los datos por función o área de negocio, de modo que todo lo que clasifiques con ellas queda organizado por dominio empresarial, una base muy útil para ordenar el patrimonio y aplicar políticas de acceso por atributos.
Una taxonomía sin dueño se degrada en meses, y la disciplina no la pone la herramienta. Después, clasificación y monitores de calidad donde importa, no en todas partes: activarlos sobre todo el patrimonio genera ruido y coste, así que empieza por los catálogos que alimentan decisiones o contienen datos personales y amplía desde ahí.
Y por último, presupuestos con proceso, no solo con umbrales: una alerta sin nadie asignado a reaccionar es un correo más que todo el mundo ignora, así que cada presupuesto necesita un destinatario con capacidad real de actuar sobre ese gasto y una revisión periódica de los límites, porque un umbral fijado en enero puede ser absurdo en septiembre.
Con esa base, el Governance Hub deja de ser un inventario de carencias y se convierte en el sitio donde el comité de datos mira cada semana.
Estructurar esa base, del gobierno del dato al control de coste sobre plataformas analíticas, es parte del trabajo que hacemos en BertIA. Si quieres saber qué mostraría el Governance Hub si lo activaras mañana, contáctanos o escríbenos a hola@bertia.es.
