Antecedentes.
Data Fabric es la evolución natural de los Data Warehouse / Data Lake tradicional. Brevemente, consiste en pasar de una arquitectura basada en «mover y centralizar» el dato a una arquitectura basada en «conectar e interconectar» el dato de forma inteligente.
¿Cómo nació?
La búsqueda de información ha sido un importante ladrón de tiempo: ¿Dónde está el documento? Esta en mi correo electrónico, lo almacené en el directorio de proyectos, estará en ofertas por que se me olvidó pasarlo, tengo la versión correcta… Data Fabric crea una capa virtual de acceso unificado con un sistema de búsqueda que posibilita una velocidad de entrega más que justificable.
¿Qué es?
El Data Fabric (o «tejido de datos») es una arquitectura de gestión de datos unificada que conecta de forma inteligente fuentes de información heterogéneas, automatizando su integración, gobierno y acceso en tiempo real.
Su objetivo principal es que los datos dejen de estar aislados y sean accesibles desde un único punto conceptual.
¿Cómo funciona?
- Utiliza inteligencia artificial para analizar de forma continua cómo se usan los datos, de dónde vienen y qué significan.
- Se crean vínculos con los datos técnicos reales, facilitando que los analistas encuentren información sin saber programar; Por ejemplo, Pedido, Albarán, Cliente y Factura.
- Se genera un vínculo virtual que permite consultar la información allí donde reside, en tiempo real, sin necesidad de duplicarla o moverla físicamente a un lugar centralizado.
- Aplica políticas de privacidad, como el cumplimiento de normativas RGPD o ENS de forma automática.
¿Cómo se implementa?
Para conectar los datos de forma inteligente se recomienda interconectarlos por fases:
- Fase 1: Descubrimiento de fuentes y generación de Inventario. Lo más común es utilizar herramientas de escaneo para identificar todas las fuentes de datos, bases de datos, información en ERPs y en la nube. De esta forma iniciamos el proyecto con un catálogo centralizado y con la ubicación de información.
- Fase 2: Despliegue de la capa de Virtualización de Datos Es el método de consulta de datos en tiempo real. Ahorro de costes de transferencia de red, problemas de latencia y adaptaciones. Se instalan nodos o puertas de enlace (gateways) de la plataforma elegida tanto en tu centro de datos local (on-premise) como en tus entornos de nube. El resultado es tener unificado el método para combinar, datos de una base de datos, o almacenados en una nube en cuestión de segundos.
- Fase 3: Activación y enriquecimiento de Metadatos Inteligentes. Para que la Inteligencia Artificial se aplique correctamente debemos aplicar un contexto de la información, por ejemplo, quien accede al dato, frecuencia, tablas consultadas, etc. Automáticamente el sistema de aprendizaje aplica conexiones, métodos de uso, etc.
- Fase 4: Definición del Modelo de Gobierno y Seguridad Unificada. En una arquitectura híbrida, la seguridad perimetral tradicional no es suficiente. El gobierno de datos debe aplicarse. Por lo tanto, se debe configurar políticas de seguridad globales basadas en roles y atributos. Podemos configurar una regla que enmascare el dato al usuario si es relativa a nóminas y el usuario no es del departamento de Administración.
- Fase 5: Optimización de previsiones de datos y orquestación dinámica. Aunque el Data Fabric prioriza dejar los datos en su origen (virtualización), a veces por rendimiento o analítica pesada es necesario mover o replicar información. Con una configuración óptima la consulta decidirá de forma autónoma cuándo realizar una consulta de forma virtualizada, en tiempo real, o cuándo le conviene pre-calcular o replicar un conjunto de datos local hacia la nube en momentos de inactividad para ahorrar ancho de banda.
- Fase 6: O entrega del resultado a los analistas, científicos de datos y aplicaciones de negocio de la organización. Generalmente se despliega en un portal web. La forma de presentarlo la dejamos al gusto del implantador. Los usuarios deberán buscar datos y localizarlos de forma rápida. Cuando consigamos reducir el tiempo de obtención del dato de semanas a un escaso minuto, con precisión y eliminando dependencias técnicas evaluaremos muy positivamente su implantación.
¿Por qué recomendamos IBM Cloud Pack For Data?
- Hemos observado en algún proyecto un ahorro de costes determinante.
- La arquitectura técnica de IBM conecta con los principales proveedores Cloud.
- IBM es una compañía líder en IA para empresas.
¿Preguntas necesarias para una implantación de Data Fabric?
- ¿Qué nivel de madurez tiene nuestra cultura de datos?
- Fuera de normativa típica, como RGPD, ENS nivel Alto, existe normativas aplicables de sector, por ejemplo, normativa Europea, normativa financiera, etc.
- ¿Con qué volumen de datos aproximado trabajáis entre local y nube?