As características inerentes ao big data exigem frameworks específicos para que os dados sejam transformados em valor. Velocidade. volume e variedade representam os aspectos de big data mais reconhecidos. Quanto à velocidade. os dados são produzidos de forma constante. e são necessárias aplicações específicas para lidar com o alto fluxo (data streaming). Aplicações da Apache. como Spark Streaming. Flink e Storm são exemplos de sistemas desenvolvidos para auxiliar no tratamento de dados em tempo real. O volume. representado pela imensa quantidade de dados gerados. exige sistemas de arquivos distribuídos. como HDFS (Hadoop). Esses sistemas auxiliam na redução de custos e aumentam a escalabilidade. pois permitem a criação de clusters de computadores com hardware de baixo custo. Em um cluster Hadoop. os dados são replicados de acordo com uma escala muitas vezes igual a 3 (isso significa que cada pedaço de dados estará armazenado em três nós diferentes de um cluster). Se um nó falhar. ainda teremos os mesmos dados em outros dois. e o sistema irá se reajustar para que uma terceira réplica seja criada novamente. Ou seja: hardware de baixo custo tende a falhar. mas um sistema de arquivos distribuído específico para big data resolve o problema. mantendo réplicas para os dados. Ambientes de big data armazenam dados variados. como dados estruturados. semiestruturados e não estruturados. Nos últimos anos. surgiram os bancos de dados NoSQL (Not Only SQL). que facilitam a manipulação de dados estruturados e semiestruturados. O banco MongoDB. por exemplo. armazena dados em formato de documentos; o Neo4j trabalha com grafos; e o Apache Cassandra armazena dados em formato de colunas. Para dados não estruturados. o HDFS ainda é a opção mais utilizada. Outros "Vs" também são reconhecidos por caracterizar big data. como visibilidade. variabilidade. vulnerabilidade. veracidade. vagueza e visualização — a qual é de grande importância para estudantes da área. Big data envolve dados que não entendemos ou cuja extração de insight é impossível sem apoio de ferramentas e técnicas de visualização. Neste contexto. é essencial saber trabalhar com linguagens de programação como R e Python. além de sistemas como Tableau. que permite o desenvolvimento simplificado de visualizações de dados. Este livro abordará tais conteúdos. introduzindo os principais frameworks para armazenamento. processamento e visualização de dados em big data. Existem centenas de possibilidades de combinações para a criação de um ambiente de big data. e. nesta obra. você estudará sobre os frameworks mais utilizados Ver menos