Módulo 0 | As Linguagens SQL e Python

Teoria de Banco de Dados Relacional e as 12 regras de Codd

Overview de Teoria de Conjuntos e Álgebra Relacional

Introdução à Linguagem SQL

Padrão ANSI / ISO SQL

As Classes da Linguagem SQL: DDL, DML, TCL e DCL

Overview do SQL Server

Linguagem de Definição de Dados (DDL)

Linguagem de Manipulação de Dados (DML)

Código Armazenado (procedures, functions, triggers e views)

Propriedades ACID

Linguagem de Controle de Transação (TCL)

Linguagem de Controle de Acesso a Dados (DCL)

Interoperabilidade (queries distribuídas)

Introdução à Linguagem Python

Lógica de programação Python

Programação Orientada a Objetos em Python

Estruturas de Dados em Python

Estruturas de repetição (loop)

Fundamentos dos pacotes Pandas e Numpy

Módulo 1 |  Fundamentos em Engenharia de Dados

Tipos de Workloads de Dados

Transacional (OLTP)

Analítico (OLAP): batch e streaming

Conceitos básicos de Big Data, Data Lake, Data Lakehouse e Delta Lake

Introdução à Engenharia de Dados

Visão geral do pipeline de ciência de dados: coleta, preparação, armazenamento, processamento/análise, visualização

O processo de Engenharia de Dados

ETL x ELT

Papéis, responsabilidades, hard e soft skills do(a) Engenheiro(a) de Dados

Visão geral dos processos de coleta, armazenamento e preparação de dados

Exemplo prático de coleta, preparação e armazenamento de dados

Formatos de Dados mais usados no pipeline de Engenharia de Dados

JSON

Parquet

ORC (Optimized Row Columnar)

Avro

Arrow

SequenceFile

Mineração de Dados

Pré-processamento de dados: limpeza, integração e transformação

Seleção de atributos

Técnicas de mineração de dados: associação, classificação, agrupamento e análise de sequências

Avaliação de modelos de mineração de dados

Arquitetura de dados batch, realtime e near-realtime

Arquitetura Lambda x Arquitetura Kappa

Arquitetura orientada a eventos (Event-driven Architecture)

Arquitetura de microsserviços

Conceitos e aplicações

Virtualização x containers

Docker e Kubernetes: conceitos básicos

Kubernetes na prática

Modern Data Stack

Data Mesh

Zero ETL Approach

DataOps

Módulo 2 | Pipeline de Dados

Atividades do pipeline de dados: aquisição, transformações, ingestão

Coleta (extração) de Dados

Fontes de dados

Métodos de coleta de dados

Ferramentas de coleta de dados

Boas práticas de coleta de dados

Extração de Dados do Twitter

Configurando uma conta de DEV no Twitter

Criando um app e pegando as chaves de acesso

Construindo um crawler para fazer streaming de tweets

Processamento (transformação) de Dados

Modelos de processamento de dados

Ferramentas e tecnologias de processamento de dados

Técnicas de transformação de dados

Boas práticas de processamento de dados

Transformação de Dados Extraídos do Twitter

Entendendo o formato do tweet

Limpeza e organização dos dados do Twitter

Ingestão de dados do Twitter

Soluções de ETL

Introdução às Soluções de ETL

Pentaho

Apache Nifi e Apache Airflow

KubeFlow

Prefect

Data Flow na prática com AirFlow

Instalação do AirFlow

AirFlow rodando na nuvem

Tasks do AirFlow

Programando execuções do Pipeline

Condicionais

Paralelismos

Integrações para entrega

Soluções de Telemetria para Pipelines de Dados

Coletando métricas com o Prometheus

Criando Dashboards com Grafana

Monitorando o pipeline de ponta a ponta

Módulo 3 | Soluções de Big Data e Data Lake

Computação distribuída, conceitos básicos;

Arquiteturas para projetos de Big Data;

Ecossistema Apache Hadoop

Arquitetura;

Principais componentes;

Hadoop Distributed File System (HDFS);

Hive: processamento de dados em SQL;

Pig: processamento de dados em linguagem de script;

HBase: banco de dados NOSQL;

Spark: processamento de dados em memória;

Kafka: plataforma de streaming de dados;

ZooKeeper: sistema de coordenação distribuída.

MapReduce

Conceitos básicos de processamento distribuído de dados;

Arquitetura do MapReduce;

Fases do MapReduce: map, shuffle e reduce;

Exemplos de aplicações com MapReduce.

Arquitetura de Data Lake

Camadas Bronze (RAW Data), Prata e Ouro;

Modelagem de Data Lake com Apache Hadoop;

Soluções de Data Lake em Nuvem.

Apache Spark

Introdução ao Apache Spark;

Vantagens e desvantagens do Spark;

Estudos de Caso;

Arquitetura e Conceitos do Apache Spark;

Instalação e Configuração do Apache Spark;

Primeiro programa com Spark: contando números;

Transformações e ações no Apache Spark;

Desempenho de Operações no Apache Spark.

Estratégias de particionamento de dados;

API de Dataframes

Introdução aos Dataframes;

Transformações sobre Dataframes;

Estatística Descritiva com Dataframes.

Utilizações do Apache Spark: PySpark, Spark SQL, Scala;

Spark SQL

A Linguagem SQL e Engenharia de Dados;

Consultas com Spark SQL;

Formatos de Dados;

Fontes de Dados;

Usando UDFs no Spark.

Processamento de Dados Massivos;

Leituras de arquivos de diversos formatos (CSV, json, parquet, ORC);

Escrita de arquivos em diversos formatos (CSV, json, parquet, ORC);

Técnicas de otimização do Spark;

Outros módulos do Spark

Spark ML;

Spark GraphX.

Spark na Nuvem.

Módulo 4 | Fluxos Contínuos de Dados

Event Stream;

Stream Processing Applications;

Arquitetura de Sistemas de Stream

Arquiteturas orientadas a evento;

Lambda Architecture;

Kappa Architecture.

Apache Kafka

Arquitetura do Kafka;

Operações básicas de gerenciamento de tópicos no Kafka;

Replicação de dados e tolerância a falhas no Kafka.

Apache Flink

Conceitos básicos de processamento de fluxos de dados com Flink;

Arquitetura do Flink;

Operações básicas de processamento de fluxos com Flink;

Exemplos de aplicações com Flink;

Operadores de fluxos em Flink;

Processamento de janelas em Flink;

Processamento de padrões em Flink;

Uso de APIs de alto nível em Flink;

Processamento de gráficos em Flink;

Processamento de streams SQL em Flink.

Apache Spark Streaming

Conceitos básicos de processamento de fluxos de dados com Spark Streaming;

Arquitetura do Spark Streaming;

Operações básicas de processamento de fluxos com Spark Streaming;

Exemplos de aplicações com Spark Streaming;

Operadores de fluxos em Spark Streaming;

Processamento de janelas em Spark Streaming;

Processamento de padrões em Spark Streaming;

Uso de APIs de alto nível em Spark Streaming;

Processamento de gráficos em Spark Streaming;

Processamento de streams SQL em Spark Streaming;

Integração do Spark Streaming com outras tecnologias de big data;

Boas práticas de desenvolvimento com Spark Streaming.

Módulo 1 | Fundamentos em Arquitetura de Dados

Dado, metadado, informação, conhecimento e sabedoria (Pirâmide do Conhecimento DIKW);

Tipos de Dados (estruturados, semiestruturados e não estruturados);

Bancos de Dados Relacionais x NOSQL x NewSQL;

Bancos de Dados Colunares: 

Conceitos e aplicabilidade; 

Exemplo com Cassandra. 

Bancos de Dados Orientado a Documentos: 

Conceitos e aplicabilidade; 

Exemplo com MongoDB. 

Bancos de Dados Chave-Valor: 

Conceitos e aplicabilidade; 

Exemplo com Redis. 

Bancos de Dados de Grafos: 

Conceitos e aplicabilidade; 

Exemplo com Neo4j. 

Banco de Dados NewSQL:

Conceitos e aplicabilidade; 

Exemplo com Google Cloud Spanner. 

Banco de Dados Multimodelo: Azure CosmosDB;

Banco de Dados em Tempo Real (Real Time Database);

Banco de Dados Imutável;

Os Três Níveis (Camadas) de Informação:

Visão conceitual ou de administração dos dados; 

Visão externa ou de programação;

Visão interna ou de administração do banco de dados.

Introdução à Arquitetura de Dados Corporativa:

Missão da Arquitetura de Dados;

Papel, hard e soft skills do Arquiteto de Dados;

DAMA-DMBOK, Data Management Maturity Model - DMM.

Processo de Arquitetura de Dados (projeto x modelagem x administração de dados);

Projeto Arquitetural de Dados:

Arquiteturas de Referências;

Ferramentas para criação do projeto arquitetural (desenho da solução).

Modelagem de Dados:

Conceituação do Mini-mundo, Universo do Discurso;

O que é a Modelagem Conceitual;

O que é a Modelagem Lógica e suas Abordagens (Relacional e Não Relacional);

O que é a Modelagem Física e o Schema Físico;

Políticas, Procedimentos e Padrões de Modelagem de Dados;

Ferramentas para modelagem de dados, repositório e versionamento de modelos.

Administração de Dados:

Dicionário de Dados e Gestão de Metadados;

Data Cataloging (Catálogo de Dados);

Governança de Dados, Dados Mestres e Master Data Management (MDM);

Ferramentas para administração de dados.

Módulo 2 |  Modelagem de Dados

Modelagem de Dados Conceitual

Características e independência de SGBDs e abordagens de modelagem; 

Modelo de Entidades e Relacionamentos (MER);  

Diagrama de Entidades e Relacionamentos (DER): 

Ferramentas CASE para modelagem conceitual de dados: brModelo e DB-MAIN.

Modelagem de Dados Lógica:

Abordagens de modelagem de dados: relacional, não relacional etc.; 

Independência de SGBD.

Modelo de Dados Lógico Relacional;

Modelo de Dados Lógico Não Relacional.

Modelagem de Dados Física:

Modelo de Dados Físico Relacional: 

Modelo de Dados Físico Não Relacional: 

Schema Físico:

Forward Engineering (criação do schema físico); 

Engenharia Reversa (geração do modelo a partir do schema físico). 

 Arquitetura de Data Warehouse:

Conceitos e características do Data Warehouse;

Arquitetura de Data Warehouse: Kimball e Inmon;

Modelagem de dados para Data Warehouse;

Data Warehouse Moderno (MDW).

Módulo 3 | Arquiteturas Escaláveis de Dados

Escalabilidade e Elasticidade; 

Introdução à Sistemas Distribuídos; 

Características de Sistemas Distribuídos;

Projetos de Arquiteturas Escaláveis de Dados;  

Introdução à Computação em Nuvem:

Antepassados e Macro Evolução da Computação; 

Vantagens e Riscos da Computação em Nuvem; 

Modelos de Implantação de Nuvem: Nuvens Públicas, Privadas e Híbridas; 

Modalidades de Serviços em Nuvem (SaaS, IaaS e PaaS); 

Soluções Multicloud; 

Framework de Adoção de Nuvem (CAF - Cloud Adoption Framework); 

TCO e ROI; 

Well Architected Framework e Arquiteturas de Referência; 

Estratégias de Migração.

Introdução a armazenamento e processamento distribuído; 

Sistemas de arquivos distribuídos:

Hadoop Distributed File System (HDFS);

Google File System; 

Amazon S3; 

Google Cloud Storage; 

Azure Blob Storage.

Introdução a Bancos de Dados Distribuídos:

As Doze Regras de um SGBDD; 

Teorema de CAP e Propriedades BASE x Propriedades ACID; 

Técnicas de Distribuição de Dados (Replicação e Particionamento): 

SGBDs distribuídos (relacionais e NOSQL).

Bancos de Dados como Serviço (PaaS).

Módulo 4 | Arquitetura de Proteção e Privacidade de Dados

Privacy by Design;

Introdução à Segurança da Informação: 

Computação Forense;  

Norma ISO 27.002 Segurança da Informação, benefícios e certificações relacionadas;  

Política de Segurança da Informação.  

Segurança Organizacional;

Classificação e controle dos ativos de informação;

Introdução e Conceitos à Lei Brasileira de Proteção de Dados: 

Abrangência e Aplicabilidade;  

Fundamentos Legais e Princípios Norteadores;  

Direitos do Titular; 

Agentes no Tratamento de Dados;  

Hipótese de Tratamento e Exceções; 

Transferência Internacional;  

Segurança de Dados e Notificação; 

Responsabilidade e Possíveis sanções;  

Atribuições e Composição da Autoridade Nacional de Proteção de Dados;  

Atualizações da Lei 13.709/18.

Autenticação, biometria, assinatura digital e certificados digitais; 

Criptologia:  

Introdução aos sistemas criptográficos; 

Algoritmos de criptografia;  

Funções de hash: MD5, SHA;  

Infraestrutura de chave pública, autoridade certificadora e outros;  

Data Encryption at Rest (criptografia de dados em repouso);

Encryption for Data in Transit (criptografia de dados em trânsito);

Aplicações da Criptografia (SSL, SSH, IPSec, VPN).

Classificação de Dados, data masking (mascaramento de dados) e anonimização de dados;

Auditoria de dados;

Ferramentas para discovery de dados, classificação de dados, mascaramento de dados, anonimização de dados e auditoria de dados;

Segurança em pessoas: 

Segurança Física; 

Segurança de Ambiente; 

Controle de Acesso. 

Análise de vulnerabilidades e ataques comuns; 

Gestão da continuidade do negócio (PCN / PCS / DR) e a Conformidade; 

Backup e Recuperação.

A partir do aprendizado nos bootcamps que compõem a sua Trilha de Pós-Graduação, é hora de começar seu Projeto Aplicado como Desafio de Conclusão. É a última etapa da sua especialização, momento em que você será, mais do que nunca, protagonista da sua jornada de conhecimento. 

Você será apresentado para problemas com alto grau de incerteza e o desafio será propor ideias inovadoras para solucioná-los. O projeto substitui o tradicional Trabalho de Conclusão de Curso, com uma diferença fundamental: é focado em entrega de valor, aplicabilidade, praticidade e com situações atuais que ocorrem no mercado de trabalho.

Durante o Desafio de Conclusão, você terá aulas interativas, reuniões de orientação em grupo e fórum individual para lhe auxiliar. Ao final dos dois bootcamps e do PA, você receberá seu título de pós-graduação e terá ainda mais habilidades técnicas para alavancar sua carreira. Além disso, realizando o upgrade na sua formação com o bootcamp de Inteligência Artificial após concluir o PA, você receberá uma segunda certificação de pós-graduação, ambas com chancela do MEC.