Arquiteto(a) de Big Data

Tópicos de Estudo

• Introdução ao Big Data;
• Definição e fundamentos do Big Data (data lake, data warehouse etc);
• Introdução aos frameworks e ferramentas do Big Data;
• Tecnologias para o Big Data;
• Fontes de dados para o Big Data;
• Empresas Data Driven;
• Capacitação e profissionais do Big Data;
• Inteligência Coletiva;
• Web Semântica;
• Ontologia; 
• Buscas avançadas: pessoas, negócios e redes sociais;
• Coleta de dados na Web – Web Crawler (redes sociais, blogs e notícias);
• Ferramentas para coletas de dados;
• API’s de redes sociais.

------------------------------------------------------

Trabalho Prático

• Utilizar o framework Hadoop para um pré-processamento e análise inicial de dados.

------------------------------------------------------

Desafio

• Aplicar o Hadoop para análise de grandes bases de dados (Big Data).

Tópicos de Estudo

• Inteligência Coletiva;
• Web Semântica;
• Ontologia; 
• Buscas avançadas: pessoas, negócios e redes sociais;
• Coleta de dados na Web – Web Crawler (redes sociais, blogs e notícias);
• Ferramentas para coletas de dados;
• API’s de redes sociais.

------------------------------------------------------

Trabalho Prático

• Coletar e analisar dados de páginas web obtidos por meio de crawlers/scraping.

------------------------------------------------------

Desafio

• Coletar e analisar dados de redes sociais obtidos por meio de API.

Tópicos de Estudo

• Introdução;
• Banco de dados relacionais;
• Limitações de Bancos de Dados Relacionais;
• Motivações para bancos NoSQL;
• Tipos de Bancos NoSQL;
• ACID x BASE;
• Key-value databases;
• Document databases;
• Column Family Databases; 
• Graph Databases.

------------------------------------------------------

Trabalho Prático

• Aplicar o armazenamento de diferentes tipos de dados em cada um dos BD não relacionais.

------------------------------------------------------

Desafio

• Empregar o MongoDB como armazenamento e recuperação da informação em um sistema de análise de dados.

Tópicos de Estudo

• Modelagem de Dados com o Hadoop;
• Data Ingestion;
• Componentes do ecossistema Hadoop;
• Processamento de Dados;
• Padrões de Processamento com Hadoop;
• Processamento de Grafos com Hadoop;
• Processamento em tempo real.

------------------------------------------------------

Trabalho Prático

• Configurar o ambiente e aplicar o armazenamento e pré-processamento de dados com o Hadoop.

------------------------------------------------------

Desafio

• Realizar a construção e aplicação de um ambiente de processamento do Big Data que utilize diferentes frameworks do ecossistema Hadoop. 

• Aplicar a coleta, o armazenamento e a detecção de anomalias em diferentes bases de dados.