O elefante, a faca, a serpente, o pato, o porcelanato e o universo
Dickson S. Guedes
Timbira
Veja o papel de cada “personagem” nesta saga de carregar 1TB de dados de arquivos parquet para o Postgres em meia hora
Espera-se que este conteúdo sirva de referência para pessoas de engenharia de dados, de desenvolvimento de administração de banco de dados que buscam conhecimento para melhorar seus "pipelines" de dados. Pessoas iniciantes são bem vindas pois o tema abordará muitos fundamentos das ferramentas utilizadas e servirá como um "índice" de conhecimento com um exemplo de como os elementos se conectam.
Inspirado nos elementos curiosos de um Elefante, uma Faca, uma Serpente, um Pato e até um Porcelanato, esta palestra apresenta uma arquitetura híbrida que une ferramentas open-source e técnicas para movimentar 1 TB de dados em menos de 30 minutos.
Contextualizaremos os desafios de escala e desvendaremos o papel de cada “personagem” com base nas lições aprendidas de um projeto que prevê 50 bilhões de objetos no Postgres.
O elefante, a faca, a serpente, o pato, o porcelanato e o universo
Dickson S. Guedes
Timbira
Veja o papel de cada “personagem” nesta saga de carregar 1TB de dados de arquivos parquet para o Postgres em meia hora
Espera-se que este conteúdo sirva de referência para pessoas de engenharia de dados, de desenvolvimento de administração de banco de dados que buscam conhecimento para melhorar seus "pipelines" de dados. Pessoas iniciantes são bem vindas pois o tema abordará muitos fundamentos das ferramentas utilizadas e servirá como um "índice" de conhecimento com um exemplo de como os elementos se conectam.
Inspirado nos elementos curiosos de um Elefante, uma Faca, uma Serpente, um Pato e até um Porcelanato, esta palestra apresenta uma arquitetura híbrida que une ferramentas open-source e técnicas para movimentar 1 TB de dados em menos de 30 minutos.
Contextualizaremos os desafios de escala e desvendaremos o papel de cada “personagem” com base nas lições aprendidas de um projeto que prevê 50 bilhões de objetos no Postgres.