Prova 3 · Dados derivados e responsabilidade
Parte III (cap. 11–14): batch, streams, CDC, event sourcing, integração de dados, corretude e ética em sistemas de dados e IA
Objetivas
0/20 respondidas1.
Por que pipelines batch são considerados seguros de reexecutar?
2.
Num job MapReduce que conta palavras, o que o reducer recebe?
3.
Um time de ML gera features diárias para 100 milhões de usuários e publica para o serviço de recomendação online. Melhor forma de publicar:
4.
Qual join evita o shuffle do lado grande?
5.
Um time precisa que três serviços processem os mesmos eventos de forma independente e possam reprocessar a última semana. Qual broker?
6.
Para garantir que eventos de um mesmo pedido sejam processados em ordem no Kafka, deve-se:
7.
A aplicação grava no banco e publica no broker em duas operações. Às vezes a publicação falha. Qual padrão resolve?
8.
Qual a diferença entre CDC e event sourcing?
9.
Num painel de vendas por minuto, eventos de celulares offline chegam com até 2 horas de atraso. Abordagem correta:
10.
Contar acessos em janelas de 5 minutos sem sobreposição usa janela:
11.
Enriquecer cada clique com o plano do cliente, sem consultar o banco remoto a cada evento, é um join:
12.
Como um processador de streams consegue efeito exactly-once ao gravar num banco externo?
13.
O que a ideia de "desagregar o banco" (unbundling) propõe?
14.
Uma equipe quer trocar o modelo de embeddings do índice vetorial sem downtime. Abordagem coerente com o cap. 13:
15.
Por que só as pontas garantem corretude (argumento end-to-end)?
16.
Qual afirmação sobre atualidade (timeliness) e integridade está correta?
17.
Restrição de unicidade num sistema baseado em logs pode ser imposta assim:
18.
Um modelo de triagem de currículos foi treinado com contratações passadas de uma empresa com histórico de preferências. Risco central:
19.
Um sistema nega crédito a quem tem pouco histórico; sem crédito, a pessoa não constrói histórico. Isso é:
20.
Qual prática de arquitetura reflete as preocupações do capítulo 14 sobre privacidade?
Dissertativas
autoavaliação · não entram na notaD1.
Por que dual write é perigoso e como change data capture resolve? Inclua o que fazer para iniciar um sistema derivado novo.
Ver resposta modelo
Com dual write, a aplicação grava em dois sistemas separadamente. Escritas concorrentes podem chegar em ordens diferentes em cada sistema, e uma falha entre as duas gravações deixa um deles desatualizado para sempre. Com CDC, só o banco recebe escritas; seu log de replicação é lido (ex.: Debezium) e publicado em ordem para os consumidores, que aplicam as mesmas mudanças na mesma ordem e convergem. Para iniciar um derivado novo, tira-se um snapshot consistente com a posição no log e aplica-se o log a partir dela; tópicos com compactação guardam o último valor por chave e permitem reconstruir o estado completo.
D2.
Explique a diferença entre tempo do evento e tempo de processamento, os tipos de janela e como lidar com eventos atrasados.
Ver resposta modelo
Tempo do evento é quando o fato aconteceu (no dispositivo); tempo de processamento é quando o processador o vê. Atrasos de rede, dispositivos offline e reprocessamento de backlog fazem os dois divergirem; agrupar por tempo de processamento gera picos falsos. Janelas: tumbling (fixas, sem sobreposição), hopping (fixas com sobreposição), sliding (eventos a até X um do outro) e sessão (fecha após inatividade). Para atrasados: watermarks estimam quando a janela pode fechar; eventos depois disso são descartados (com métrica) ou geram uma correção do resultado publicado.
D3.
Discuta os riscos éticos de sistemas preditivos e de IA apontados no capítulo 14 e proponha medidas de arquitetura e de processo para mitigá-los.
Ver resposta modelo
Riscos: viés aprendido de dados históricos (inclusive por variáveis proxy), decisões automáticas sem explicação nem recurso, feedback loops que reforçam a previsão, vigilância e coleta excessiva com consentimento pouco real, concentração de poder sobre os dados. Medidas: medir o impacto do modelo por grupos, auditar dados de treino, oferecer explicação e revisão humana, monitorar efeitos de feedback, minimizar coleta e retenção, rastrear linhagem para apagar dados (inclusive em índices, embeddings e modelos), cumprir LGPD/GDPR e tratar dados pessoais como risco, não só como ativo.