Módulo 0 | As Linguagens SQL e Python

• Teoria de Banco de Dados Relacional e as 12 regras de Codd
• Overview de Teoria de Conjuntos e Álgebra Relacional
• Introdução à Linguagem SQL
• Padrão ANSI / ISO SQL
• As Classes da Linguagem SQL: DDL, DML, TCL e DCL
• Overview do SQL Server
• Linguagem de Definição de Dados (DDL)
• Linguagem de Manipulação de Dados (DML)
• Código Armazenado (procedures, functions, triggers e views)
• Propriedades ACID
• Linguagem de Controle de Transação (TCL)
• Linguagem de Controle de Acesso a Dados (DCL)
• Interoperabilidade (queries distribuídas)
• Introdução à Linguagem Python
• Lógica de programação Python
• Programação Orientada a Objetos em Python
• Estruturas de Dados em Python
• Estruturas de repetição (loop)
• Fundamentos dos pacotes Pandas e Numpy

Módulo 1 |  Fundamentos em Engenharia de Dados

• Tipos de Workloads de Dados
• Transacional (OLTP)
• Analítico (OLAP): batch e streaming
• Conceitos básicos de Big Data, Data Lake, Data Lakehouse e Delta Lake
• Introdução à Engenharia de Dados
• Visão geral do pipeline de ciência de dados: coleta, preparação, armazenamento, processamento/análise, visualização
• O processo de Engenharia de Dados
• ETL x ELT
• Papéis, responsabilidades, hard e soft skills do(a) Engenheiro(a) de Dados
• Visão geral dos processos de coleta, armazenamento e preparação de dados
• Exemplo prático de coleta, preparação e armazenamento de dados
• Formatos de Dados mais usados no pipeline de Engenharia de Dados
• JSON
• Parquet
• ORC (Optimized Row Columnar)
• Avro
• Arrow
• SequenceFile
• Mineração de Dados
• Pré-processamento de dados: limpeza, integração e transformação
• Seleção de atributos
• Técnicas de mineração de dados: associação, classificação, agrupamento e análise de sequências
• Avaliação de modelos de mineração de dados
• Arquitetura de dados batch, realtime e near-realtime
• Arquitetura Lambda x Arquitetura Kappa
• Arquitetura orientada a eventos (Event-driven Architecture)
• Arquitetura de microsserviços
• Conceitos e aplicações
• Virtualização x containers
• Docker e Kubernetes: conceitos básicos
• Kubernetes na prática
• Modern Data Stack
• Data Mesh
• Zero ETL Approach
• DataOps

Módulo 2 | Pipeline de Dados

• Atividades do pipeline de dados: aquisição, transformações, ingestão
• Coleta (extração) de Dados
• Fontes de dados
• Métodos de coleta de dados
• Ferramentas de coleta de dados
• Boas práticas de coleta de dados
• Extração de Dados do Twitter
• Configurando uma conta de DEV no Twitter
• Criando um app e pegando as chaves de acesso
• Construindo um crawler para fazer streaming de tweets
• Processamento (transformação) de Dados
• Modelos de processamento de dados
• Ferramentas e tecnologias de processamento de dados
• Técnicas de transformação de dados
• Boas práticas de processamento de dados
• Transformação de Dados Extraídos do Twitter
• Entendendo o formato do tweet
• Limpeza e organização dos dados do Twitter
• Ingestão de dados do Twitter
• Soluções de ETL
• Introdução às Soluções de ETL
• Pentaho
• Apache Nifi e Apache Airflow
• KubeFlow
• Prefect
• Data Flow na prática com AirFlow
• Instalação do AirFlow
• AirFlow rodando na nuvem
• Tasks do AirFlow
• Programando execuções do Pipeline
• Condicionais
• Paralelismos
• Integrações para entrega
• Soluções de Telemetria para Pipelines de Dados
• Coletando métricas com o Prometheus
• Criando Dashboards com Grafana
• Monitorando o pipeline de ponta a ponta

Módulo 3 | Soluções de Big Data e Data Lake

• Computação distribuída, conceitos básicos;
• Arquiteturas para projetos de Big Data;
• Ecossistema Apache Hadoop
• Arquitetura;
• Principais componentes;
• Hadoop Distributed File System (HDFS);
• Hive: processamento de dados em SQL;
• Pig: processamento de dados em linguagem de script;
• HBase: banco de dados NOSQL;
• Spark: processamento de dados em memória;
• Kafka: plataforma de streaming de dados;
• ZooKeeper: sistema de coordenação distribuída.
• MapReduce
• Conceitos básicos de processamento distribuído de dados;
• Arquitetura do MapReduce;
• Fases do MapReduce: map, shuffle e reduce;
• Exemplos de aplicações com MapReduce.
• Arquitetura de Data Lake
• Camadas Bronze (RAW Data), Prata e Ouro;
• Modelagem de Data Lake com Apache Hadoop;
• Soluções de Data Lake em Nuvem.
• Apache Spark
• Introdução ao Apache Spark;
• Vantagens e desvantagens do Spark;
• Estudos de Caso;
• Arquitetura e Conceitos do Apache Spark;
• Instalação e Configuração do Apache Spark;
• Primeiro programa com Spark: contando números;
• Transformações e ações no Apache Spark;
• Desempenho de Operações no Apache Spark.
• Estratégias de particionamento de dados;
• API de Dataframes
• Introdução aos Dataframes;
• Transformações sobre Dataframes;
• Estatística Descritiva com Dataframes.
• Utilizações do Apache Spark: PySpark, Spark SQL, Scala;
• Spark SQL
• A Linguagem SQL e Engenharia de Dados;
• Consultas com Spark SQL;
• Formatos de Dados;
• Fontes de Dados;
• Usando UDFs no Spark.
• Processamento de Dados Massivos;
• Leituras de arquivos de diversos formatos (CSV, json, parquet, ORC);
• Escrita de arquivos em diversos formatos (CSV, json, parquet, ORC);
• Técnicas de otimização do Spark;
• Outros módulos do Spark
• Spark ML;
• Spark GraphX.
• Spark na Nuvem.

Módulo 4 | Fluxos Contínuos de Dados

• Event Stream;
• Stream Processing Applications;
• Arquitetura de Sistemas de Stream
• Arquiteturas orientadas a evento;
• Lambda Architecture;
• Kappa Architecture.
• Apache Kafka
• Arquitetura do Kafka;
• Operações básicas de gerenciamento de tópicos no Kafka;
• Replicação de dados e tolerância a falhas no Kafka.
• Apache Flink
• Conceitos básicos de processamento de fluxos de dados com Flink;
• Arquitetura do Flink;
• Operações básicas de processamento de fluxos com Flink;
• Exemplos de aplicações com Flink;
• Operadores de fluxos em Flink;
• Processamento de janelas em Flink;
• Processamento de padrões em Flink;
• Uso de APIs de alto nível em Flink;
• Processamento de gráficos em Flink;
• Processamento de streams SQL em Flink.
• Apache Spark Streaming
• Conceitos básicos de processamento de fluxos de dados com Spark Streaming;
• Arquitetura do Spark Streaming;
• Operações básicas de processamento de fluxos com Spark Streaming;
• Exemplos de aplicações com Spark Streaming;
• Operadores de fluxos em Spark Streaming;
• Processamento de janelas em Spark Streaming;
• Processamento de padrões em Spark Streaming;
• Uso de APIs de alto nível em Spark Streaming;
• Processamento de gráficos em Spark Streaming;
• Processamento de streams SQL em Spark Streaming;
• Integração do Spark Streaming com outras tecnologias de big data;
• Boas práticas de desenvolvimento com Spark Streaming.

Módulo 1 | Fundamentos em Arquitetura de Dados

• Dado, metadado, informação, conhecimento e sabedoria (Pirâmide do Conhecimento DIKW);
• Tipos de Dados (estruturados, semiestruturados e não estruturados);
• Bancos de Dados Relacionais x NOSQL x NewSQL;
• Bancos de Dados Colunares: 

1. Conceitos e aplicabilidade; 
2. Exemplo com Cassandra. 

• Bancos de Dados Orientado a Documentos: 

1. Conceitos e aplicabilidade; 
2. Exemplo com MongoDB. 

• Bancos de Dados Chave-Valor: 

1. Conceitos e aplicabilidade; 
2. Exemplo com Redis. 

• Bancos de Dados de Grafos: 

1. Conceitos e aplicabilidade; 
2. Exemplo com Neo4j. 

• Banco de Dados NewSQL:

1. Conceitos e aplicabilidade; 
2. Exemplo com Google Cloud Spanner. 

• Banco de Dados Multimodelo: Azure CosmosDB;
• Banco de Dados em Tempo Real (Real Time Database);
• Banco de Dados Imutável;
• Os Três Níveis (Camadas) de Informação:

1. Visão conceitual ou de administração dos dados; 
2. Visão externa ou de programação;
3. Visão interna ou de administração do banco de dados.

• Introdução à Arquitetura de Dados Corporativa:

1. Missão da Arquitetura de Dados;
2. Papel, hard e soft skills do Arquiteto de Dados;
3. DAMA-DMBOK, Data Management Maturity Model - DMM.

• Processo de Arquitetura de Dados (projeto x modelagem x administração de dados);
• Projeto Arquitetural de Dados:

1. Arquiteturas de Referências;
2. Ferramentas para criação do projeto arquitetural (desenho da solução).

• Modelagem de Dados:

1. Conceituação do Mini-mundo, Universo do Discurso;
2. O que é a Modelagem Conceitual;
3. O que é a Modelagem Lógica e suas Abordagens (Relacional e Não Relacional);
4. O que é a Modelagem Física e o Schema Físico;
5. Políticas, Procedimentos e Padrões de Modelagem de Dados;
6. Ferramentas para modelagem de dados, repositório e versionamento de modelos.

• Administração de Dados:

1. Dicionário de Dados e Gestão de Metadados;
2. Data Cataloging (Catálogo de Dados);
3. Governança de Dados, Dados Mestres e Master Data Management (MDM);
4. Ferramentas para administração de dados.

Módulo 2 |  Modelagem de Dados

• Modelagem de Dados Conceitual

1. Características e independência de SGBDs e abordagens de modelagem; 
2. Modelo de Entidades e Relacionamentos (MER);  
3. Diagrama de Entidades e Relacionamentos (DER): 
4. Ferramentas CASE para modelagem conceitual de dados: brModelo e DB-MAIN.

• Modelagem de Dados Lógica:

1. Abordagens de modelagem de dados: relacional, não relacional etc.; 
2. Independência de SGBD.
3. Modelo de Dados Lógico Relacional;
4. Modelo de Dados Lógico Não Relacional.

• Modelagem de Dados Física:

1. Modelo de Dados Físico Relacional: 
2. Modelo de Dados Físico Não Relacional: 

• Schema Físico:

1. Forward Engineering (criação do schema físico); 
2. Engenharia Reversa (geração do modelo a partir do schema físico). 

•  Arquitetura de Data Warehouse:

1. Conceitos e características do Data Warehouse;
2. Arquitetura de Data Warehouse: Kimball e Inmon;
3. Modelagem de dados para Data Warehouse;
4. Data Warehouse Moderno (MDW).

Módulo 3 | Arquiteturas Escaláveis de Dados

• Escalabilidade e Elasticidade; 
• Introdução à Sistemas Distribuídos; 
• Características de Sistemas Distribuídos;
• Projetos de Arquiteturas Escaláveis de Dados;  
• Introdução à Computação em Nuvem:

1. Antepassados e Macro Evolução da Computação; 
2. Vantagens e Riscos da Computação em Nuvem; 
3. Modelos de Implantação de Nuvem: Nuvens Públicas, Privadas e Híbridas; 
4. Modalidades de Serviços em Nuvem (SaaS, IaaS e PaaS); 
5. Soluções Multicloud; 
6. Framework de Adoção de Nuvem (CAF - Cloud Adoption Framework); 
7. TCO e ROI; 
8. Well Architected Framework e Arquiteturas de Referência; 
9. Estratégias de Migração.

• Introdução a armazenamento e processamento distribuído; 
• Sistemas de arquivos distribuídos:

1. Hadoop Distributed File System (HDFS);
2. Google File System; 
3. Amazon S3; 
4. Google Cloud Storage; 
5. Azure Blob Storage.

• Introdução a Bancos de Dados Distribuídos:

1. As Doze Regras de um SGBDD; 
2. Teorema de CAP e Propriedades BASE x Propriedades ACID; 
3. Técnicas de Distribuição de Dados (Replicação e Particionamento): 
4. SGBDs distribuídos (relacionais e NOSQL).

• Bancos de Dados como Serviço (PaaS).

Módulo 4 | Arquitetura de Proteção e Privacidade de Dados

• Privacy by Design;
• Introdução à Segurança da Informação: 

1. Computação Forense;  
2. Norma ISO 27.002 Segurança da Informação, benefícios e certificações relacionadas;  
3. Política de Segurança da Informação.  

• Segurança Organizacional;
• Classificação e controle dos ativos de informação;
• Introdução e Conceitos à Lei Brasileira de Proteção de Dados: 

1. Abrangência e Aplicabilidade;  
2. Fundamentos Legais e Princípios Norteadores;  
3. Direitos do Titular; 
4. Agentes no Tratamento de Dados;  
5. Hipótese de Tratamento e Exceções; 
6. Transferência Internacional;  
7. Segurança de Dados e Notificação; 
8. Responsabilidade e Possíveis sanções;  
9. Atribuições e Composição da Autoridade Nacional de Proteção de Dados;  
10. Atualizações da Lei 13.709/18.

• Autenticação, biometria, assinatura digital e certificados digitais; 
• Criptologia:  

1. Introdução aos sistemas criptográficos; 
2. Algoritmos de criptografia;  
3. Funções de hash: MD5, SHA;  
4. Infraestrutura de chave pública, autoridade certificadora e outros;  
5. Data Encryption at Rest (criptografia de dados em repouso);
6. Encryption for Data in Transit (criptografia de dados em trânsito);
7. Aplicações da Criptografia (SSL, SSH, IPSec, VPN).

• Classificação de Dados, data masking (mascaramento de dados) e anonimização de dados;
• Auditoria de dados;
• Ferramentas para discovery de dados, classificação de dados, mascaramento de dados, anonimização de dados e auditoria de dados;
• Segurança em pessoas: 

1. Segurança Física; 
2. Segurança de Ambiente; 
3. Controle de Acesso. 

• Análise de vulnerabilidades e ataques comuns; 
• Gestão da continuidade do negócio (PCN / PCS / DR) e a Conformidade; 
• Backup e Recuperação.

A partir do aprendizado nos bootcamps que compõem a sua Trilha de Pós-Graduação, é hora de começar seu Projeto Aplicado como Desafio de Conclusão. É a última etapa da sua especialização, momento em que você será, mais do que nunca, protagonista da sua jornada de conhecimento. 

Você será apresentado para problemas com alto grau de incerteza e o desafio será propor ideias inovadoras para solucioná-los. O projeto substitui o tradicional Trabalho de Conclusão de Curso, com uma diferença fundamental: é focado em entrega de valor, aplicabilidade, praticidade e com situações atuais que ocorrem no mercado de trabalho.

Durante o Desafio de Conclusão, você terá aulas interativas, reuniões de orientação em grupo e fórum individual para lhe auxiliar. Ao final dos dois bootcamps e do PA, você receberá seu título de pós-graduação e terá ainda mais habilidades técnicas para alavancar sua carreira. Além disso, realizando o upgrade na sua formação com o bootcamp de Inteligência Artificial após concluir o PA, você receberá uma segunda certificação de pós-graduação, ambas com chancela do MEC.

Módulo 1 | Fundamentos da Inteligência Artificial

• Introdução à Inteligência Artificial

1. Definição de IA e sua evolução histórica
2. Diferenças entre IA, aprendizado de máquina (Machine Learning - ML) e aprendizado profundo (Deep Learning - DL)
3. Visão geral dos tipos de IA: IA fraca vs. IA forte

• Conceitos Fundamentais de IA

1. Algoritmos de aprendizado de máquina: supervisionado, não supervisionado, e por reforço
2. Modelos discriminativos vs generativos
3. Redes neurais e estruturas básicas de dados para IA
4. Ferramentas e linguagens de programação para IA: Python, TensorFlow, PyTorch

• Aplicações e Casos de Uso da IA

1. Exemplos práticos de IA no dia a dia
2. IA nas indústrias: saúde, finanças, educação, e mais
3. Benefícios e limitações da IA

• Ética e IA

1. Discussão sobre viés e justiça em sistemas de IA
2. Privacidade de dados e segurança na era da IA
3. Regulamentações e políticas de IA

Módulo 2 |  Implementando e Trabalhando com IA 

• Identificando Oportunidades de IA

1. Como identificar problemas solucionáveis com IA
2. Avaliação de prontidão para IA nas organizações (maturidade analítica das organizações)
3. Estudos de caso de transformação digital com IA

• Planejamento e Implementação de Soluções de IA

1. Etapas para desenvolver e implementar projetos de IA
2. Coleta e tratamento de dados para aprendizado de máquina
3. Monitoramento e avaliação de modelos de IA

• Estratégias de Aprendizado e Melhoria Contínua

1. Importância dos dados e da qualidade dos dados para IA
2. Técnicas de aprimoramento de modelos: ajuste fino, transferência de aprendizagem
3. Implementando ciclos de feedback e aprendizado contínuo

• Liderança e Competências Organizacionais em IA

1. Desenvolvimento de competências de IA dentro das organizações
2. Decisões estratégicas: construir internamente, comprar ou terceirizar soluções de IA
3. Criando uma cultura orientada por dados e IA

Módulo 3 | IA Generativa Aplicada à Engenharia de Dados

• O que é IA Generativa;
• Aplicabilidade da IA Generativa na área de dados;
• OpenAI’s GPT-4;
• IA Generativa na elaboração de Projetos Arquiteturais de Soluções de Engenharia de Dados;
• Amostras de Dados com IA Generativa (Data Augmentation):

1. Modelos de difusão
2. Rede Adversária Generativa (Generative Adversarial Networks - GANs) 
3. Codificadores automáticos variacionais (Variational Autoencoders - VAEs)

• IA Generativa para Data Lake;
• IA Generativa para pipelines de dados:

1. Limpeza e Enriquecimento de Dados usando IA
2. Padronização e Deduplicação de Dados (Data Deduplication) com IA
3. Anonimização de Dados com IA
4. Detecção de anomalias nos dados utilizando IA
5. Automação de Tarefas de Processamento de Dados com IA
6. Otimização de pipelines de dados e workflows

• IA para governança, segurança, privacidade e conformidade de dados;
• IA Generativa na visualização de dados e construção de dashboards.

Módulo 4 | Inteligência Artificial como Serviço e Data Observability

• Fundamento de Cloud Computing

1. Modelos de Fornecimento de Serviços de Computação
2. O Que É Computação em Nuvem?
3. Características da Computação em Nuvem
4. Principais Players do Mercado de Computação em Nuvem
5. Modelos de Implantação de Nuvem
6. Soluções Multi-Cloud
7. Modalidades de Serviços em Nuvem
8. Jornada de Adoção da Nuvem
9. Framework de Adoção de Nuvem
10. Estratégias de Migração
11. Governança de Custos na Nuvem
12. Centro de Arquitetura em Nuvem
13. Ferramentas de Diagramação Arquitetural
14. Overview da AWS
15. Carreira e Certificações em Cloud

• Serviços de IA em nuvem para Engenharia de Dados;
• GitHub Copilot na Engenharia de Dados;
• Observabilidade de Dados (Data Observability);
• Engenharia de Confiabilidade de Dados (DRE - Data Reliability Engineering.