A quantidade e variedade de dados que as empresas geram diariamente é gigantesca. Grandes ou pequenas, as empresas têm à sua disposição grandes volumes de dados e têm de saber o que fazer com eles. A capacidade de analisar estes dados, muitos provenientes das redes sociais, e transformá-los em informação será (se já não é) um fator chave de competitividade.

O termo BIG DATA refere-se a um conjunto de dados armazenados cujo tamanho ou o tipo - em português (Base de Dados Muito Grande) - estão além da capacidade das tradicionais bases de dados relacionais de importar e processar dados de baixa complexidade. A definição mais comum de BDMG é a de uma base de dados que ocupa mais que 1 terabyte ou que contém vários milhões de registos. Naturalmente, esta definição será revista com o passar do tempo, na medida em que os dados que “produzimos” aumentam a cada segundo.

Este “novo” tipo de dados tem uma ou várias das seguintes características: têm grande volume, têm alta velocidade e têm alta variedade. Estes dados são provenientes de sensores, de dispositivos de vídeo e áudio, redes, arquivos de log, aplicações transacionais, da web e de meios de comunicação sociais. A maior parte destes dados são gerados em tempo real e em grande escala, o que obriga as empresas a procurarem meios para gerir toda a informação obtida a partir dos dados recolhidos. Trocam-se milhões de emails por dia, processam-se milhões de transações bancárias, as operadoras de telecomunicações registam as chamadas e todo o tráfego dos telemóveis, etc, o que nos dá uma ideia do que é isto do Big Data.

A informação retirada destes dados é crucial para as empresas poderem desenvolver novos produtos, ajustar-se às tendências do mercado ou até melhorar o seu modelo de negócio. Por esta razão, este conceito é visto, cada vez mais, como um ativo para as empresas porque ele cria valor. E como?

Em primeiro lugar, o uso da informação torna-se mais frequente e isso implica mais transparência. Em segundo lugar, a digitalização e armazenamento de dados permite recolher e detalhar melhor informação, o que irá refletir-se em tomar melhores decisões e na melhoria do desempenho das empresas. Em terceiro lugar, Big Data permite às empresas conhecer melhor os clientes, segmentá-los em várias categorias novas e criar produtos específicos que se adequem melhor às suas necessidades. Finalmente, e em seguimento do descrito anteriormente, o Big Data vai permitir o desenvolvimento mais rápido e com menos custos de novas gerações de produtos e serviços para novos tipos de clientes.

Se olharmos para o passado (basta recuarmos uma dezena de anos), vemos a evolução de tudo isto. A utilização “democratizada” da internet permite-nos hoje fazer compras, em qualquer lugar do mundo, a partir do nosso telemóvel. Quanto revolucionário é isto? No início do Séc. XXI, esta capacidade de a sociedade gerar dados ainda era limitada, mas hoje este é um fenómeno exponencial. A grande variedade de fontes de dados e a forma desestruturada com os mesmos estão, permitem que o o Big Data ganhe evidência. Não é só na grande quantidade e proveniência de dados e na velocidade da sua análise e disponibilização, mas também na relação entre todos estes aspetos que o Big Data faz sentido.No entanto, várias questões têm de ser observadas, para que o potencial do Big Data seja concretizado plenamente: a privacidade e a segurança dos dados ou a propriedade intelectual, por exemplo.

Os “V” do Big Data: volume, velocidade, variedade, veracidade e valor

Para facilitar o entendimento deste fenómeno do Big Data vamos falar dos 5 “V”.

Inicialmente apareceram o volume, a velocidade e a variedade como as 3 dimensões de Big Data, aos quais se juntaram posteriormente a veracidade e valor.

O volume refere-se, naturalmente, à quantidade de dados gerados a cada segundo. Isto faz com que estes dados sejam demasiado grandes para guardar e analisar com a tradicional tecnologia de banco de dados.
A tecnologia do Big Data permite guardar e usar estes dados com a ajuda de sistemas distribuídos, onde as partes dos dados se guardam em posições diferentes, unidas por redes e por software.

A velocidade refere-se à velocidade a que se criam e processam os dados, sendo que muitas vezes isto acontece em tempo real. Imagine-se, por exemplo, o que aconteceria se a validação de uma transação de cartão de crédito ou uma operação para compra e venda de ações demorasse mais do que uns segundos.
A tecnologia de Big Data permite analisar os dados no momento em que são criados e sem os colocar em qualquer banco de dados.

A variedade de dados que podemos usar agora é bastante maior do que no passado. Antes, os dados eram estruturados em tabelas ou em bancos de dados relacionais, como, por exemplo, os dados financeiros ou comerciais (vendas por produto ou região, etc). Atualmente, a grande maioria de dados são não estruturados — fotos, documentos, mensagens, vídeo ou atualizações de meios de comunicação sociais – e aqui reside outra das vantagens de Big Bata: a reconciliação de ambos.

A veracidade é um dos aspetos mais importantes de qualquer informação. Com grandes quantidades de dados, a qualidade dos mesmos é menos confiável. É, pois, importante que hajam processos que garantam a exatidão e consistência dos dados. Com Big data não é possível controlar estes aspetos, mas análises e estatísticas é possível compensar a falta de qualidade ou exatidão, devido ao volume.

Mas o volume de dados, suportado pela velocidade e variedades diferentes e aliado à veracidade têm de converter-se em valor! Se isto não acontecer, ou seja, se o investimento ou os benefícios decorrentes desse investimento não compensarem, as empresas não verão o Big Data como solução, mas como problema.

Estes cinco aspetos ajudam-nos a perceber melhor o contexto de Big Data, o seu alcance e as suas implicações. O importante não é quantidade de dados, mas sim os insights que as empresas e organizações conseguem criar com a análise desses dados. Nesta medida, encontrar respostas para, por exemplo, reduzir custos, desenvolver novos produtos e serviços ou criar ofertas mais de acordo com os gostos individuais, não poderá ser feito sem o recurso a Big Data.