Estamos contratando um engenheiro de dados familiarizado com web scraping, limpeza de dados, engenharia de dados e engenharia de características para se juntar à nossa crescente equipe. Você será responsável por coletar e preparar conjuntos de dados em grande escala a partir de várias fontes de dados, garantindo a qualidade dos dados e transformando dados brutos em formatos utilizáveis para análise e aprendizado de máquina. Este é um papel-chave na construção de nossos sistemas de IA e Web3.

 Responsabilidades

• Projetar e implementar pipelines de dados para coletar, processar e limpar grandes volumes de dados de diversas fontes, como web scraping e APIs.
• Limpar e pré-processar dados brutos, garantindo qualidade elevada e adequação para análise e aprendizado de máquina.
• Executar engenharia de características, extraindo características valiosas de conjuntos de dados brutos para melhorar o desempenho dos modelos de aprendizado de máquina.
• Colaborar estreitamente com cientistas de dados e engenheiros para esclarecer as necessidades de dados, fornecendo dados limpos e estruturados.
• Automatizar tarefas repetitivas, otimizando fluxos de dados para aumentar a eficiência e escalabilidade.
• Monitorar e manter pipelines de dados, assegurando a confiabilidade do fluxo e armazenamento de dados.
• Realizar validação de dados e verificações de qualidade, garantindo a precisão e consistência dos dados.

Requisitos do Cargo

• Domínio de Python e SQL para manipulação de dados, com pelo menos 2 anos de experiência em engenharia de dados ou áreas relacionadas.
• Experiência em coleta de dados (como web scraping, integração de API) e processamento de grandes conjuntos de dados.
• Conhecimento sólido em técnicas de limpeza e pré-processamento de dados, com foco especial na preparação de dados para análise e aprendizado de máquina.
• Familiaridade com engenharia de características, capaz de converter dados brutos em formatos adequados para modelagem.
• Experiência no uso de bancos de dados (como MySQL, PostgreSQL, NoSQL etc.).
• Familiaridade com plataformas em nuvem (como AWS, Google Cloud) e tecnologias de armazenamento de dados relacionadas.
• Habilidade de resolução de problemas e atenção aos detalhes.
• Excelentes habilidades de comunicação e colaboração, capaz de trabalhar de forma eficaz em equipe em um ambiente dinâmico.

Diferenciais

• Conhecimento em tecnologias de Big Data (como Hadoop, Spark) e sistemas distribuídos.
• Experiência no uso do Apache Airflow ou ferramentas semelhantes de pipeline de dados.
• Experiência em preparação de dados e integração de pipelines relacionados a IA/aprendizado de máquina.
• Familiaridade com tecnologias de containerização (como Docker, Kubernetes).

 Oferecemos

• Pacote salarial altamente competitivo e incentivos de participação acionária
• Ambiente de trabalho flexível com preferência por remoto
• Oportunidade de trabalhar em projetos de ponta e tecnologias avançadas
• Oportunidades de crescimento profissional ao lado de elites do setor mundial
• Ambiente de equipe global, diversificado e inclusivo