Postgres em Escala Astronômica: O Banco de Dados do IDAC Brasil
Carlos Adean
Laboratório Interinstitucional de e-Astronomia - LIneA
Apresentamos a arquitetura PostgreSQL do IDAC Brasil, projetada para armazenar e consultar bilhões de registros astronômicos do projeto LSST.
O IDAC Brasil (Independent Data Access Center) é um centro de dados em implantação pelo LIneA (Laboratório Interinstitucional de e-Astronomia), criado para atuar como ponto de acesso nacional ao Legacy Survey of Space and Time (LSST), projeto astronômico internacional que produzirá um dos maiores conjuntos de dados científicos do mundo. Esta apresentação descreve a solução de banco de dados do IDAC baseada em PostgreSQL, com foco nos desafios de escalabilidade, ingestão de grandes volumes de dados e desempenho em consultas. A arquitetura foi desenhada para suportar catálogos astronômicos com dezenas de bilhões de registros, volumes que colocam esta infraestrutura entre as maiores implementações PostgreSQL voltadas à ciência de dados no Brasil. Apresentaremos decisões de modelagem, estratégias de particionamento, tuning de parâmetros críticos e otimizações específicas aplicadas para garantir eficiência nas operações de leitura e análise. Também discutiremos a interação com ferramentas externas e a integração com aplicações da comunidade científica. A apresentação é voltada a profissionais que atuam com grandes volumes de dados, tanto em ambientes de pesquisa quanto em contextos corporativos que demandam soluções robustas e escaláveis com PostgreSQL.
Postgres em Escala Astronômica: O Banco de Dados do IDAC Brasil
Carlos Adean
Laboratório Interinstitucional de e-Astronomia - LIneA
Apresentamos a arquitetura PostgreSQL do IDAC Brasil, projetada para armazenar e consultar bilhões de registros astronômicos do projeto LSST.
O IDAC Brasil (Independent Data Access Center) é um centro de dados em implantação pelo LIneA (Laboratório Interinstitucional de e-Astronomia), criado para atuar como ponto de acesso nacional ao Legacy Survey of Space and Time (LSST), projeto astronômico internacional que produzirá um dos maiores conjuntos de dados científicos do mundo. Esta apresentação descreve a solução de banco de dados do IDAC baseada em PostgreSQL, com foco nos desafios de escalabilidade, ingestão de grandes volumes de dados e desempenho em consultas. A arquitetura foi desenhada para suportar catálogos astronômicos com dezenas de bilhões de registros, volumes que colocam esta infraestrutura entre as maiores implementações PostgreSQL voltadas à ciência de dados no Brasil. Apresentaremos decisões de modelagem, estratégias de particionamento, tuning de parâmetros críticos e otimizações específicas aplicadas para garantir eficiência nas operações de leitura e análise. Também discutiremos a interação com ferramentas externas e a integração com aplicações da comunidade científica. A apresentação é voltada a profissionais que atuam com grandes volumes de dados, tanto em ambientes de pesquisa quanto em contextos corporativos que demandam soluções robustas e escaláveis com PostgreSQL.