Ontem criei meu projeto mais ambicioso. Participei da rinha Backend esse ano e achei demais o aprendizado. Agora quero passar um desafio no contexto de engenharia de dados (estilo de arquitetura pipeline) para tu tem que transportar mais de 60 milhões de linhas de arquivos zipados CSV para uma tabela PSQL.
Contexto do Desafio
Aqui no repo tu vai encontrar toda documentação explicando os detalhes e como participar. Minha máquina homelab está ligada aqui pra rodar seu código.
Passos para Participar
- Baixe os Arquivos CSV: Baixe os arquivos zipados CSV do repositório.
- Descompacte os Arquivos: Descompacte os arquivos zipados para obter os arquivos CSV originais.
- Conecte-se ao Banco de Dados: Conecte-se ao banco de dados PSQL usando o comando
psqlou qualquer outra ferramenta de sua preferência. - Criar a Tabela: Crie a tabela no banco de dados PSQL para armazenar os dados CSV.
- Inserir os Dados: Inserir os dados CSV na tabela criada.
- Validar os Dados: Validar os dados inseridos para garantir a integridade e precisão.
Ferramentas e Recursos
- Banco de Dados: PostgreSQL (PSQL)
- Conexão: Conexão SSH ou qualquer outro método de conexão remota.
- Descompactação: Utilize o comando
unzippara descompactar os arquivos zipados. - Inserção de Dados: Utilize o comando
COPYpara inserir os dados CSV. - Validação de Dados: Utilize ferramentas de validação de dados ou scripts personalizados para validar os dados inseridos.
Certificacoes e Conexões
- Certificação IP67/IP68: Não é necessário para este projeto.
- Conexões: Conexão SSH ou qualquer outro método de conexão remota.
- Conexões: Conexão SSH ou qualquer outro método de conexão remota.
Conclusão
Este projeto de Pipeline é uma ótima oportunidade para aprender e aplicar as habilidades de engenharia de dados. Estou ansioso para ver o que vocês farão com este desafio.
Contato
Se você tiver alguma dúvida ou precisar de ajuda, entre em contato comigo no repositório.
Fonte: https://github.