Como a arquitetura de malha de dados cria empresas data-driven

Além disso, atualmente, os dados estão mais dispersos, dinâmicos, diferentes e difíceis de gerenciar do que nunca. As empresas precisam lidar com ambientes complexos de dados de vários fornecedores, conjuntos de dados isolados e ciclos longos de preparação de dados, tudo isso ao mesmo tempo em que mantêm uma estratégia segura e compatível de controle de dados.

De acordo com o Gartner, até 2023, organizações usando malhas de dados para conectar, otimizar e automatizar dinamicamente os processos de gerenciamento de dados reduzirão o tempo de entrega de dados integrados em 30%. O apontamento faz parte do quadrante mágico para ferramentas de integração de dados, de março de 2021 .

Enquanto as organizações sabem que precisam transformar dados em informação para impulsionar a inovação, elas enfrentam desafios na hora de implantar uma jornada eficiente. Historicamente, o crescimento e a dispersão dos dados levaram as organizações a construir diversos ecossistemas e infraestruturas de gerenciamento variadas, resultando em complexidade de dados e falta de integridade ou governança de dados. Agora, as companhias estão migrando seus dados para um repositório central — mas esse é um processo ineficiente e caro, devido ao tempo necessário para integrar e aproveitar os dados.

Malha é mais eficiente

No Brasil, o termo data fabric ainda é muito novo e pouco explorado. Essa arquitetura emergente tem como objetivo endereçar os desafios de dados decorrentes de um cenário híbrido. A ideia central está em encontrar um equilíbrio entre a descentralização e a globalização, agindo como o tecido conectivo virtual entre os terminais de dados. Esse processo se dá por meio de tecnologias como automação e aumento da integração, controle federado e ativação de metadados.

A malha de dados (ou data fabric) permite que a orquestração de dados seja dinâmica e inteligente, em um cenário distribuído, criando uma rede de informações disponíveis instantaneamente para impulsionar um negócio. Além disso, ela é independente de plataformas de implementação, processos de dados, localizações geográficas e abordagem arquitetônica, permitindo que vários tipos de dados possam ser combinados, acessados e controlados com êxito de forma eficiente e eficaz.

Como pano de fundo, há uma convergência de tendências que está acelerando o poder disruptivo dos dados. Somada à explosão de informações de diversas plataformas e dispositivos, o armazenamento ficou mais acessível e a capacidade de computação disponível atualmente é algo sem precedentes.

O acesso simplificado aos dados para obter insights de negócios preditivos e em tempo real leva à vantagem competitiva ao permitir o gerenciamento eficiente de ativos corporativos ou criar soluções resilientes e cadeias de suprimentos sustentáveis. E, ainda, a  integração dos dados leva a melhores resultados de negócios.

Mas como estabelecer uma arquitetura de malha de dados que leve as empresas a serem, efetivamente,  orientadas  a  dados?  O  IBM Cloud Pak  for  Data  oferece uma solução de      data fabric para obter resultados confiáveis e mais rápidos baseados em inteligência artificial, conectando os dados certos, no momento certo e às pessoas certas, em qualquer lugar. A plataforma unificada contempla ambientes híbridos e multicloud para ingerir, explorar, preparar, gerenciar, controlar e oferecer dados em escala de petabytes para a IA pronta para os negócios.

O poder data fabric

A malha de dados direciona os clientes a simplificar o acesso a dados governados e de qualidade, para qualquer usuário, independentemente de onde resida. A arquitetura coloca os dados para funcionar, selecionando e permitindo o consumo de dados de autoatendimento de forma inteligente para que os usuários possam começar a acessar insights para tomar decisões inteligentes.

Além de permitir consumo de dados de autoatendimento e colaboração, a malha de dados automatiza o controle, a proteção e a segurança — com ativação por metadados ativos —, automatiza as tarefas de engenharia de dados e aumenta a integração de dados em recursos de nuvem híbrida.

Recursos de autoatendimento permitem que usuários pertinentes de dados dentro de organizações encontrem aqueles que sejam de qualidade mais rapidamente e passem mais tempo explorando-os para fornecer insights tangíveis que agregam valor ao negócio. Já a automação aprimorada por inteligência artificial cria regras e definições de controle de dados ao extrair automaticamente o conteúdo de documentos regulamentares.

Por fim, a otimização e aceleração da distribuição de dados dentro da empresa elimina processos ineficientes, repetitivos e manuais de integração de dados. A análise contínua e automática em tempo real oferece suporte à distribuição de dados de qualidade.

Uma malha de dados pode ser logicamente dividida em quatro capacidades (ou componentes), sendo eles: conhecimento, insights e semântica; controle unificado e em conformidade; integração inteligente; e orquestração e ciclo de vida.

A primeira delas fornece mercado de dados e experiência de compra, além de enriquecer automaticamente os dados descobertos ativos com conhecimento e semântica, permitindo ao consumidor encontrar e entender os dados. O controle unificado e em conformidade permite gerenciamento local e governança de metadados, mas oferece suporte a uma visão global unificada e cumprimento de política. Assim, aplica automaticamente políticas sobre dados ativos de acordo com as regras globais e locais, utilizando capacidades avançadas

para automatizar a classificação e a curadoria de ativos de dados.

Com relação à integração inteligente, há uma aceleração das tarefas da equipe de engenharia de dados por meio de fluxo automatizado e criação de pipeline em fontes de dados distribuídas; permite a ingestão de autoatendimento e acesso a dados sobre quaisquer dados com aplicação profunda local e global de políticas de proteção de dados. Com isso, determina automaticamente a execução do melhor ajuste por meio da distribuição de carga de trabalho otimizada, autoajuste e correção de desvios de esquema.

A última capacidade — de orquestração e ciclo de vida — envolve composição, teste, operação e monitoramento de pipelines de dados e desenvolve recursos de inteligência artificial no ciclo de vida dos dados para automatizar tarefas, autoajuste, autocorreção e detecção de mudanças de dados de origem, tudo o que facilita as atualizações automatizadas.

Parceiro na jornada

Na jornada de dados, é importante contar com um parceiro que ofereça suporte amplo, desde a infraestrutura até softwares de inteligência artificial. A plataforma da IBM oferece integração em uma empresa híbrida para os serviços IBM Cloud Pak for Data, aplicações externas e fontes de dados e recursos avançados baseados em IA para gerenciamento e controle de dados.

Essa base disponibiliza os dados selecionados para os consumidores com o equilíbrio de custo, desempenho, conformidade e com a inteligência para orquestrar e otimizar o processamento de dados com base em cargas de trabalho, localidade de dados e políticas de dados.

A malha de dados é a próxima etapa transformadora para sua empresa. Isso porque ela torna possível hiperautomatizar a descoberta, o controle e consumo de dados em um cenário de dados híbrido e multinuvem. Outros benefícios incluem um tempo de retorno mais rápido para usuários de negócios, uma maior produtividade para engenharia de dados e operações e maior controle e fidelidade de conformidade.

Criar uma malha de dados, em vez de silos de dados, é o caminho que as empresas de sucesso trilham. Mas tenha em mente que uma organização movida por dados precisa utilizar uma estratégia e uma arquitetura de dados integradas, capazes de vencer o desafio da complexidade dos dados.

Saiba mais

https://www.ibm.com/downloads/cas/OW4WYB7N e https://www.ibm.com/downloads/cas/JEO32GAK