O que é big data?

O termo big data pode ser descrito em termos de desafios de gerenciamento de dados que, devido ao crescente volume, velocidade e variedade de dados, não podem ser solucionados com bancos de dados tradicionais. Embora haja várias definições para big data, a maioria delas inclui o conceito comumente conhecido como "três Vs" de big data:

Volume: varia de terabytes a petabytes de dados.

Variedade: inclui dados de uma grande variedade de fontes e formatos (por exemplo, logs da web, interações em mídias sociais, transações comerciais eletrônicas e on-line, transações financeiras e entre outros).

Velocidade: cada vez mais, as empresas têm requisitos rigorosos desde o momento em que os dados são gerados até o momento em que insights acionáveis são entregues aos usuários. Por isso, os dados devem ser coletados, armazenados, processados e analisados em janelas de tempo relativamente curtas, abrangendo desde o cotidiano até o tempo real.

Apesar do grande entusiasmo em torno do tema, muitas organizações não percebem que têm um problema de big data ou simplesmente não o consideram sob a perspectiva de big data. Em geral, é provável que uma organização se beneficie das tecnologias de big data quando os bancos de dados e aplicativos existentes não podem mais se expandir para oferecer suporte a aumentos repentinos no volume, na variedade e na velocidade dos dados.

A falha em tratar corretamente dos desafios de big data pode resultar na escalada de custos, além da redução de produtividade e competitividade. Por outro lado, uma estratégia sólida de big data pode ajudar as organizações a reduzir custos e obter eficiência operacional, migrando workloads existentes e complexas para tecnologias de big data, bem como implementando novas aplicações para aproveitar novas oportunidades.

Com novas ferramentas que abrangem todo o ciclo de gerenciamento de dados, as tecnologias de big data tornam técnica e economicamente viável não apenas coletar e armazenar conjuntos de dados maiores, mas também analisá-los para descobrir novos e valiosos insights. Na maioria dos casos, o processamento de big data envolve um fluxo de dados comum, da coleta de dados brutos ao consumo de informações práticas.

Coleta. A coleta de dados brutos (transações, logs, dispositivos móveis e muito mais) é o primeiro desafio que muitas organizações enfrentam quando tratam com big data. Uma boa plataforma de big data torna esta etapa mais fácil, permitindo aos desenvolvedores ingerir uma ampla variedade de dados estruturados ou não estruturados a qualquer velocidade, deste em tempo real até em lote.

Armazenamento. Qualquer plataforma de big data precisa de um repositório seguro, escalável e durável para armazenar dados antes ou, até mesmo, depois de processar tarefas. Dependendo dos seus requisitos específicos, você também pode precisar de armazenamentos temporários para dados em trânsito.

Processamento e análise. Esta é etapa em que os dados são transformados do estado bruto para um formato consumível, normalmente por meio da classificação, do agregamento, da união e, até mesmo, da execução de funções e algoritmos avançados. Os conjuntos de dados resultantes são então armazenados para processamento posterior ou disponibilizados para consumo através de inteligência de negócio e ferramentas de visualização de dados.

Consumo e visualização. O objetivo do big data é obter descobertas práticas e de alto valor com base nos seus ativos de dados. Idealmente, os dados são disponibilizados para as partes envolvidas através de inteligência de negócio de autoatendimento e ferramentas ágeis de visualização de dados que permitem a exploração rápida e fácil de conjuntos de dados. Dependendo do tipo de analytics, os usuários finais também podem consumir os dados resultantes na forma de “previsões” estatísticas, no caso da analytics preditiva, ou de ações recomendadas, no caso da analytics prescritiva.

A evolução dos processos de big data

O ecossistema de big data continua a evoluir em um ritmo impressionante. Atualmente, uma variedade de estilos de análise apoia diversas funções dentro da organização.

As analytics descritivas auxiliam os usuários a responder à questão: “O que aconteceu e por quê?”. Alguns exemplos disso são os ambientes tradicionais de consulta e de geração de relatórios com indicadores e painéis.

As analytics preditivas auxiliam os usuários a prever a probabilidade de ocorrência de um evento futuro. Os exemplos incluem sistemas de alertas antecipados, detecção de fraudes, aplicações de manutenção preventiva e previsões.

As analytics prescritivas fornecem recomendações específicas (prescritivas) para o usuário. Elas abordam a questão: O que devo fazer se “x” ocorrer?

Originalmente, os frameworks de big data como o Hadoop forneciam suporte somente para workloads em lote, nas quais grandes conjuntos de dados eram processados em massa durante uma janela de tempo específica, geralmente medida em horas, se não em dias. No entanto, com a crescente importância da agilidade na obtenção de insights, a “velocidade” do big data estimulou o desenvolvimento de novos frameworks, como o Apache Spark, o Apache Kafka, o Amazon Kinesis e outros, para viabilizar o processamento de dados em tempo real e com fluxo contínuo.

A Amazon Web Services fornece um portfólio amplo e totalmente integrado de serviços de computação em nuvem para auxiliar você a desenvolver, garantir a segurança e implementar as aplicações de big data. Com a AWS, não há hardware para adquirir, e não há infraestrutura para manter e escalar, portanto, você pode concentrar os recursos na descoberta de novos insights. Com novas capacidades e recursos adicionados constantemente, você sempre será capaz de aproveitar as mais recentes tecnologias sem estabelecer compromissos de investimento de longa duração.

Saiba mais sobre a plataforma e as ferramentas de big data da AWS »

Disponibilidade imediata

A maioria das tecnologias de big data exige grandes clusters de servidores que resultam em longos ciclos de provisionamento e configuração. Com a AWS você pode implantar a infraestrutura que você precisa praticamente de imediato. Isso significa que as suas equipes podem ser mais produtivas, fica mais fácil testar novidades e os projetos podem ser implantados mais cedo.

Funcionalidades amplas e aprofundadas

As cargas de trabalho de big data são tão variadas quanto os ativos de dados que pretendem analisar. Uma plataforma ampla e profunda significa que você pode criar virtualmente qualquer aplicativo de big data e suportar qualquer carga de trabalho, independentemente do volume, velocidade e variedade de dados. Com mais de 50 serviços e centenas de recursos adicionados a cada ano, a AWS oferece tudo o que é necessário para coletar, armazenar, processar, analisar e visualizar big data na nuvem. Saiba mais sobre a plataforma de big data da AWS.

Solução confiável e segura

Big data são dados importantes. Portanto, proteger ativos de dados e infraestrutura sem perder a agilidade é fundamental. A AWS fornece funcionalidades em todas as instalações, rede, software e processos de negócios para cumprir os requisitos mais rigorosos. Os ambientes passam por auditorias contínuas para certificações como ISO 27001, FedRAMP, DoD SRG e PCI DSS. Os programas de garantia ajudam você a comprovar a conformidade com mais de 20 padrões, incluindo HIPAA, NCSC e muito mais. Acesse o Cloud Security Center para obter mais informações.

Centenas de parceiros e de soluções

Um amplo ecossistema de parceiros pode ajudar você a superar a lacuna de habilidades e começar a trabalhar com big data de forma ainda mais rápida. Acesse a Rede de Parceiros da AWS para obter ajuda de um parceiro de consultoria ou escolher entre as diversas ferramentas e aplicações em toda a pilha de gerenciamento de dados.

Soluções de big data na AWS

Conte com nossa ajuda para solucionar os desafios de big data. Deixe o trabalho pesado por nossa conta, assim você poderá dedicar mais tempo e recursos às metas da sua empresa ou organização.

Saiba mais sobre as soluções de big data da AWS »

Comece a usar big data analytics na AWS ao criar uma conta hoje mesmo.