Más de dos tercios de las empresas usan más de 20 fuentes de datos diferentes para informar a sus sistemas de inteligencia artificial (IA), en las partes de la organización en los que consiguen incorporarla, al área de integración comercial y a la de análisis, y las empresas más grandes a veces acaban convertidas en una Babel de hasta 500 fuentes de datos.
La observabilidad, una de las tendencias emergentes según Gartner, puede transformar todas las áreas de las empresas. Se trata de no tomar decisiones por intuición, sino porque se puede hablar con los datos. En 2026, el 70% de las organizaciones que apliquen con éxito la observabilidad reducirán el tiempo necesario para la toma de decisiones y mejorarán su competitividad, según las estimaciones de Microsoft.
La IA puede eliminar esa complejidad mediante el aprendizaje de patrones sobre cómo se transforman y utilizan esos datos. La empresa pasa así menos tiempo entendiéndolos y preparándolos, y más tiempo usándolos. En eso consiste la creación de una arquitectura de estructura de datos.
Sin embargo, aunque modelos de lenguaje como GPT han generado un enorme entusiasmo en torno a la IA, sus extraordinarias capacidades tienen un precio: la escala. El aumento en el tamaño de los modelos de IA se consigue incrementando el volumen de datos con los que son entrenados, lo que conduce a un mejor rendimiento, pero también introduce nuevos desafíos de complejidad.
A pesar de la infraestructura masiva, todavía se necesitan muchas horas, incluso días, para entrenar un solo modelo. En los últimos cuatro años, el tamaño de los parámetros de los modelos de lenguaje basados en IA ha crecido casi 2.000 veces: de alrededor de 100 millones de parámetros a casi 200.000 millones.
Jess Iandiorio, de Starburst, es partidario, en ese sentido, de abandonar el paradigma de la “Fuente Única de la Verdad”. Según dice, “es hora de que abordemos el ‘elefante en la habitación’ e implementemos un concepto más ágil y con visión de futuro que permita a las empresas aprovechar mejor los datos descentralizados”: el Data Mesh o Malla de Datos.
El concepto fue acuñado por por Zhamak Dehghani, director de tecnologías emergentes de Thoughtworks. Parte de un enfoque sociotécnico y va más allá de los modelos centralizados de data lake y data warehouse (almacén de datos). En lugar de ello, se centra en un modelo distribuido de arquitectura e infraestructura de datos en varios planos.
Ya no es necesario que haya un equipo central para transformar, limpiar o integrar la información para que la use la siguiente persona, sino cada área tendrá a alguien responsable de hacerlo todo dentro de su dominio. Para que esto sea lo más fluido posible, los expertos animan a establecer como es natural estándares globales dentro de las organizaciones.
Los líderes de la industria mencionan también con frecuencia el Data Fabric (tejido de datos) como otra de las tecnologías clave en la gestión de la información. A diferencia del Data Mesh, que propicia que grupos distintos de equipos administren los datos como mejor les parezca, aunque con algunas disposiciones de gobernanza comunes, el Data Fabric busca construir una única capa de administración virtual sobre los datos distribuidos.
Visión de ecosistema
La lección clave de estos cambios en la cultura de gestión es que, para que un activo resuelte valioso, la organización tiene que poder gestionarlo, debe ser propietaria de ese activo. De nada sirve disponer de excelente información si no se facilita la capacidad de acceso y la gestión. De ahí que, en paralelo a las tendencias de Data Mesh y Data Fabric, haya cobrado importancia la visión de ecosistema al abordar la cuestión del dato, implicar a operaciones, proveedores, tecnología e información, todos los componentes de cada ecosistema deben poner el foco en la escalabilidad.
La naturaleza distribuida de los centros de datos perimetrales, por ejemplo, hace que la coordinación de las transferencias de datos al internet de las cosas (IoT) sea aún más problemática. Superar estos retos será clave para permitir que las empresas hagan realidad sus ambiciones de IoT, y la industria de servicios en la nube está comenzando a progresar en ese sentido.
Otra de las tendencias en la gestión de datos está relacionada con las nuevas tecnologías de análisis de imagen. Las cámaras en red avanzadas, con procesadores de aprendizaje automático o de aprendizaje profundo, pueden proporcionar información más granular y descriptiva, como la clasificación de un vehículo.
Actualmente, existen soluciones en el mercado para contar personas, leer matrículas o monitorizar flujos de tráfico. Y las cámaras con plataformas abiertas permiten a desarrolladores de software independientes crear análisis personalizados para resolver casos de uso específicos. El reto con este tipo de datos es cómo administrar millones o miles de millones de imágenes para extraer el valor. La respuesta es: metadatos, que brindan información rica y descriptiva en tamaños más procesables.
Los metadatos nos proporcionan información sobre los propios datos. Su destino ha dejado de ser ya el simple almacenamiento e incluye la posibilidad de aportar valor a las operaciones comerciales. La inteligencia artificial y el machine learning usan mapas semánticos subyacentes para informar de la calidad de los datos, su ubicación, la optimización de las cargas de trabajo en implementaciones híbridas y de múltiples nubes. Con metadatos activos, las plataformas de datos se vuelven más autónomas.
Junto a todo ello, la gobernanza de los datos está emergiendo como un conjunto de tecnologías que ayudan a las organizaciones a aprovecharlos y al mismo tiempo cumplir con los mandatos regulatorios e internos. La nube ha sido la historia principal para las empresas durante muchos años, y ahora sirve cada vez más como repositorio principal, centro de procesamiento y espacio de aplicaciones. El desafío es administrar entornos de datos en varias nubes.
Algunas de las brechas que se están detectando en la puesta en marcha de esta nueva visión de la gestión de la información se producen entre los catálogos de datos y la aplicación real de la normativa que protege la información de identificación personal. Otras son de naturaleza cultural y tienen que ver con la batalla en el seno de las organizaciones por adoptar un futuro basado en datos. La propiedad de los datos y su gobierno deberán transformarse en “una propiedad conjunta federada entre el negocio y TI”, según Rajiv Dholakia, vicepresidente senior de productos de Privacera.