Desenvolvedor de Web Scraping Estamos em busca de um desenvolvedor de Web Scraping altamente habilidoso para se juntar à nossa equipe.
Você será responsável por criar robôs de coleta de dados de alta qualidade utilizando tecnologias como Python, Splash, Selenium e manipulação de proxies.
Sua expertise será fundamental para extrair dados relevantes de diversas fontes na web, como sites, APIs e outras plataformas.
Responsabilidades: Desenvolver robôs de web scraping em conformidade com a metodologia e os padrões estabelecidos; Utilizar Python, Splash e Selenium para automatizar a coleta de dados em sites e aplicações web; Configurar e gerenciar proxies para garantir anonimato e evitar bloqueios de IP; Manipular e transformar os dados coletados em formatos úteis, como JSON, CSV e PDF; Colaborar com a equipe para identificar novas fontes de dados e requisitos de scraping; Otimizar o desempenho dos scripts de web scraping para garantir velocidade e eficiência; Resolver desafios técnicos relacionados a bloqueios, captchas e alterações na estrutura dos sites; Manter-se atualizado sobre as melhores práticas e novas tecnologias no campo de web scraping; Seguir as orientações para o desenvolvimento da automação, seguindo o material que está integralmente em inglês; Requisitos: Experiência sólida em desenvolvimento de web scraping utilizando Python, Splash e Selenium; Git e GitHub; Conhecimento em manipulação de proxies e técnicas de mitigação de bloqueios; Familiaridade com a extração de dados de diferentes tipos de fontes, como HTML, APIs e documentos PDF; Habilidade para transformar dados brutos em formatos estruturados e legíveis; Capacidade de identificar e lidar com desafios de segurança e privacidade de dados; Forte atenção aos detalhes e habilidades de resolução de problemas; Excelentes habilidades de comunicação e trabalho em equipe.