Parte III · Dados derivados

8 tópicos · 40 exercícios de fixação · 0/8 concluídos

• 11.1Batch: Unix, object stores e MapReduce
  Batch lê uma entrada imutável e grande, gera uma saída nova; rodar de novo é seguro.novo
• 11.2Dataflow engines, joins e usos do batch (ETL e ML)
  Spark e Flink substituem MapReduce com DAGs em memória; batch alimenta warehouses, modelos de ML e serviços.novo
• 12.1Streams, mensageria e logs
  Broker tradicional apaga ao entregar; broker baseado em log guarda em ordem e permite reler.novo
• 12.2Change data capture e event sourcing
  CDC transforma as escritas do banco num stream; o log vira a fonte, e o estado é sua integral.novo
• 12.3Tempo, joins e tolerância a falhas em streams
  Use o tempo do evento, não o de processamento; janelas, joins e checkpoints dão resultado correto mesmo com falhas.novo
• 13.1Integração de dados e desagregação do banco
  Nenhum sistema faz tudo: combine ferramentas ligando-as por logs de eventos e dados derivados.novo
• 13.2Corretude: end-to-end, restrições e verificação
  Garantias de cada camada não bastam; IDs de requisição de ponta a ponta e auditoria contínua garantem integridade.novo
• 14Fazer a coisa certa: ética em sistemas de dados e IA
  Modelos preditivos e coleta de dados afetam pessoas: projete com responsabilidade, privacidade e consentimento.novo