Big Data revoluciona a analítica e a realidade empresarial

10472
0
Share:

Segundo a empresa Teradata os cinco desafios que as organizações enfrentam para tirar o máximo partido do Big Data combinam-se para potenciar uma evolução mais significativa em Arquitectura Analítica Empresarial. Esta tendência verifica-se sobretudo desde que Devlin, Inmon, Kimball, etc.. lançaram o Enterprise Data Warehouse.

Ainda que, atualmente, o armazenamento de dados continue a ser necessário, por si só não é suficiente. Quando os dados são utilizados diversas vezes é necessário minimizar o custo total de aquisição, amortizando o custo de compra e integração através de múltiplos processos de negócio. Isto só é possível através do recurso a várias aplicações de análise para uma das cópias de dados, e não o contrário. Quando estes dados suportam processos de negócio cruciais, é necessário que estes sejam precisos, fiáveis e certificados. A verdade é que uma cópia segura é sempre melhor que duas.

Por outro lado, de forma a otimizar completamente os processos de negócio é necessário integrar os dados para apoiar as análises multifuncionais. Isto é essencial se pretende por em marcha uma análise da informação processável de toda a empresa através de limites funcionais, organizacionais e geográficos.

Gartner inventou a expressão “Logical Data Warehouse” para descrever a evolução do que poderia denominar de arquitetura “monolítica” até um Data Warehouse mais distribuído.

Estes cinco desafios estão a trazer consequências para a Arquitetura Analítica Empresarial:

  1. O desafio dos dados multiestruturados: como consequência desta realidade, hoje em dia, é necessário ser capaz de gerir de forma relacional os dados multiestruturados e combinar abordagens “schema on-load” e “schema on-read”, o que faz com que essas estratégias de gestão de informação que ‘servem para tudo’ sejam cada vez menos rentáveis.
  2. O desafio das analíticas interativas: o aumento dos novos modelos generalistas de programação paralela como o MapReduce e o Bulk Synchronous Parallel (BSP) para utilização intensiva de CPU, significa que não há soluções milagrosas para a análise de Big Data.
  3. O desafio do armazenamento de dados com ruído: grande parte dos esforços da indústria estão orientados para minimizar os custos de armazenamento, sabendo que o custo unitário de armazenamento é igual ao custo unitário de processamento, que por sua vez é igual ao custo total de aquisição.
  4. O desafio “pode haver uma agulha num palheiro, mas se são necessários 12 meses e 500.000€ para a descobrir, não há tempo nem dinheiro suficientes”: se realizar uma pesquisa de “exploração” da mesma forma que faz em Business Intelligence tradicional, algo está mal! É fundamental certificar-se que a aquisição seja ágil, de forma a alinhar-se com o rápido desenvolvimento e implementação de aplicações
  5. O desafio de ir mais além para oferecer verdadeiro valor de negócio: o objetivo dum projeto de Big Data não é aumentar os conhecimentos empresarias, mas sim mudar a forma como se fazem negócios, partilhando esses conhecimentos com todos os  níveis da empresa e alterando os processos de negócio.

Os desafios do Big Data tornam cada vez mais necessário aumentar o armazenamento de dados com novas arquiteturas que, em muitos casos, estão melhor implementadas em novas tecnologias. Uma “plataforma de dados” ou “data-lake”, por exemplo, permite às empresas enfrentar o desafio económico de capturar grandes conjuntos de dados com ruído, uma vez que está desenvolvida sobre uma tecnologia com um custo unitário de armazenamento mais baixo que a plataforma de armazenamento de dados, que está desenhada e otimizada para partilhar dados de uma forma mais eficiente.

Assim, as tecnologias de Sistemas de Ficheiros Distribuídos são provavelmente uma escolha mais natural para capturar os dados multiestruturados complexos, que com um sistema de dados relacionais (RDBMS). Por outro lado, as tecnologias criadas de raiz para suportar analíticas interativas são fáceis de usar e oferecem vantagens de rendimento para analíticas complexas de interação de dados modelados.


Share:

Deixe o seu comentário