Octadesk | Engenheiro de Dados Sênior
LWSA
Salário a Combinar
Publicada hoje | 1 Vaga
Sobre a Vaga
Responsabilidades e Atribuições
Você será o(a) responsável por desenhar, implementar e manter pipelines de dados robustos e eficientes. Suas principais atribuições incluem:
Desenvolvimento de pipelines: Construir e otimizar fluxos de ingestão e transformação de dados em lote e streaming.
Arquitetura Data Lakehouse: Estruturar nosso ecossistema utilizando Iceberg para garantir performance e consistência.
Performance e Otimização: Ajustar consultas complexas no Trino para garantir latência mínima aos nossos usuários internos e ferramentas de BI.
Escalabilidade: Desenvolver soluções distribuídas utilizando Spark que suportem o crescimento acelerado da Octadesk.
Governança e Qualidade: Garantir a integridade, confiabilidade e disponibilidade dos dados que alimentam nossas decisões.
Experiência esperada: Buscamos alguém com vivência sólida em ambientes de dados em nuvem, acostumado a lidar com desafios de alta volumetria e que tenha participado da construção de arquiteturas modernas (Lakehouse).
Como será seu dia a dia
O seu cotidiano na Octadesk será dinâmico e focado em engenharia de alto nível:
Colaboração com times de Produto e Engenharia para entender necessidades de dados.
Desenvolvimento de código limpo e escalável (Python/SQL).
Monitoramento e evolução da stack no GCP e MinIO.
Participação em code reviews e ritos de agilidade.
Implementação de melhorias para reduzir custos de infraestrutura e otimizar o tempo de processamento.
Você será o(a) responsável por desenhar, implementar e manter pipelines de dados robustos e eficientes. Suas principais atribuições incluem:
Desenvolvimento de pipelines: Construir e otimizar fluxos de ingestão e transformação de dados em lote e streaming.
Arquitetura Data Lakehouse: Estruturar nosso ecossistema utilizando Iceberg para garantir performance e consistência.
Performance e Otimização: Ajustar consultas complexas no Trino para garantir latência mínima aos nossos usuários internos e ferramentas de BI.
Escalabilidade: Desenvolver soluções distribuídas utilizando Spark que suportem o crescimento acelerado da Octadesk.
Governança e Qualidade: Garantir a integridade, confiabilidade e disponibilidade dos dados que alimentam nossas decisões.
Experiência esperada: Buscamos alguém com vivência sólida em ambientes de dados em nuvem, acostumado a lidar com desafios de alta volumetria e que tenha participado da construção de arquiteturas modernas (Lakehouse).
Como será seu dia a dia
O seu cotidiano na Octadesk será dinâmico e focado em engenharia de alto nível:
Colaboração com times de Produto e Engenharia para entender necessidades de dados.
Desenvolvimento de código limpo e escalável (Python/SQL).
Monitoramento e evolução da stack no GCP e MinIO.
Participação em code reviews e ritos de agilidade.
Implementação de melhorias para reduzir custos de infraestrutura e otimizar o tempo de processamento.
Requisitos e Qualificações
Para assumir este desafio, buscamos alguém com domínio técnico nas ferramentas citadas e uma visão clara de engenharia de dados:
Experiência com Data Lakehouse: Domínio em Apache Iceberg e formatos de tabela.
Processamento Distribuído: Proficiência em Apache Spark para grandes volumes de dados.
Query Engines: Experiência prática com Trino (ou Presto) para exploração e análise de dados.
Cloud & Storage: Experiência com GCP (BigQuery, Cloud Functions, GCS) e gerenciamento de armazenamento via MinIO.
Engenharia de Software: Proficiência em Python e SQL avançado.
Habilidades: Conhecimento sólido em modelagem de dados (Kimball/Inmon) e experiência com orquestradores (Airflow, Dagster ou similares).
E para tirar de letra, você precisará:
Ter um mindset de "infrastructure as code" (Terraform, Pulumi ou similar).
Capacidade de traduzir problemas de negócio complexos em arquiteturas técnicas viáveis.
Excelente comunicação para articular decisões técnicas para diferentes públicos.
E se tiver isso também, melhor ainda:
Certificações oficiais em GCP (ex: Google Professional Data Engineer).
Experiência com ferramentas de observabilidade de dados.
Contribuições para projetos Open Source (especialmente na comunidade do ecossistema de Big Data).
Vivência com arquiteturas de processamento em tempo real (Kafka, Pub/Sub).
Para assumir este desafio, buscamos alguém com domínio técnico nas ferramentas citadas e uma visão clara de engenharia de dados:
Experiência com Data Lakehouse: Domínio em Apache Iceberg e formatos de tabela.
Processamento Distribuído: Proficiência em Apache Spark para grandes volumes de dados.
Query Engines: Experiência prática com Trino (ou Presto) para exploração e análise de dados.
Cloud & Storage: Experiência com GCP (BigQuery, Cloud Functions, GCS) e gerenciamento de armazenamento via MinIO.
Engenharia de Software: Proficiência em Python e SQL avançado.
Habilidades: Conhecimento sólido em modelagem de dados (Kimball/Inmon) e experiência com orquestradores (Airflow, Dagster ou similares).
E para tirar de letra, você precisará:
Ter um mindset de "infrastructure as code" (Terraform, Pulumi ou similar).
Capacidade de traduzir problemas de negócio complexos em arquiteturas técnicas viáveis.
Excelente comunicação para articular decisões técnicas para diferentes públicos.
E se tiver isso também, melhor ainda:
Certificações oficiais em GCP (ex: Google Professional Data Engineer).
Experiência com ferramentas de observabilidade de dados.
Contribuições para projetos Open Source (especialmente na comunidade do ecossistema de Big Data).
Vivência com arquiteturas de processamento em tempo real (Kafka, Pub/Sub).
Nível: Sênior
Contratação CLT.
Benefícios oferecidos pela Octadesk :polvo:
🍽️ Vale Refeição em benefício flexível;
🚍Auxílio Locomoção;
🍼Auxílio Creche;
🏋️♀️Well Hub;
🩺Assistência Médica;
🦷Assistência Odontológica;
📚Parcerias Educacionais;
🎂Dayoff de Aniversário;
💛Seguro de Vida.
🍽️ Vale Refeição em benefício flexível;
🚍Auxílio Locomoção;
🍼Auxílio Creche;
🏋️♀️Well Hub;
🩺Assistência Médica;
🦷Assistência Odontológica;
📚Parcerias Educacionais;
🎂Dayoff de Aniversário;
💛Seguro de Vida.
Vagas Relacionadas