- Develop Scala/Spark programs, scripts, and macros for data extraction, transformation and analysis
- Design and implement solutions to meet business requirements
- Support and maintain existing Hadoop applications and related technologies
- Develop and maintain metadata, user access and security controls
- Develop and maintain technical documentation, including data models, process flows and system diagrams
- Minimum 35 years of experience from Scala/Spark related projects and/or engagements
- Create Scala/Spark jobs for data transformation and aggregation as per the complex business requirements.
- Should be able work in a challenging and agile environment with quick turnaround times and strict deadlines.
- Perform Unit tests of the Scala code
- Raise PR, trigger build and release JAR versions for deployment via Jenkins pipeline
- Should be familiar with CI/CD concepts and the processes
- Peer review the code
- Perform RCA of the bugs raised
- Should have excellent understanding of Hadoop ecosystem
- Should be well versed with below technologies
- Relevant certifications (e.g., Scala, Spark, Hadoop, Performance)
- Knowledge of other programming languages (e.g., Python, R)
- Insight to cloudbased solutions such as Snowflake
- Experience in Financial Services, preferrable in the Credit risk domain
-
Data Engineer
há 1 semana
Hays Portugal Porto, PortugalEstamos a gerir um processo derecrutamento para o nosso cliente, uma empresa na área financeira com vastaexperiência em Cobrança Extrajudicial e Judicial dos Créditos. Procuramosum(a) Data Engineer competente e apaixonado(a) por dados para reforçara equipa de TI do nosso cliente. ...
-
Data Engineer
há 2 semanas
Mind Source Porto, PortugalLOCAL: Porto (Híbrido) DESCRITIVO DA FUNÇÃO: A Mind Source está a reforçar a sua Equipa de Business Insights através de um Data Engineer.PERFIL:- Licenciatura em Engenharia Informática, Informática de Gestão ou similar;- Pelo menos 3 anos de experiência com modelagem de dados e P ...
-
Data Engineer
há 2 semanas
Dellent Consulting Porto, PortugalSe és um profissional apaixonado pelo universo automóvel e pela inovação na mobilidade, e queres enfrentar novos desafios, estás no sitio certo. Procuramos pessoas que queiram fazer parte de um projeto líder no setor, contribuindo para a transformação e excelência num ambiente di ...
-
Data Engineer
há 14 horas
Mind Source Porto, PortugalLOCAL: · Porto (Híbrido) · DESCRITIVO DA FUNÇÃO: · A Mind Source está a reforçar a sua Equipa de Business Insights através de um Data Engineer. · PERFIL: · - Licenciatura em Engenharia Informática, Informática de Gestão ou similar; · - Pelo menos 3 anosde experiência com modelag ...
-
Data Engineer
há 2 semanas
Dellent Porto, Portugal Tempo integralA Dellent é uma empresa de consultoria especializada em Sistemas de Informação e Telecomunicações. O nosso objetivo é conseguirmos ajudar os nossos consultores e candidatos a integrarem projetos que vão ao encontro dos seus interesses, motivações e expectativas. · Se és um profis ...
-
Data Engineer
há 2 semanas
Pkf-Vmb Belgium Porto, PortugalQuantas vezes te aborreceste à procura de uma oportunidade de emprego que fizesse sentido para ti? Apostamos que perdeste a conta... Se ainda não ouviste falar de nós, temos uma história para ti. Se já ouviste, acreditamos que o que te vamos contar vai fazer a diferença · A agap2 ...
-
Data Engineer
há 3 semanas
Mind Source Porto, Portugal Tempo integralLOCAL: Porto (Híbrido) · DESCRITIVO DA FUNÇÃO: · A Mind Source está a reforçar a sua Equipa de Business Insights através de um Data Engineer. · PERFIL: · Licenciatura em Engenharia Informática, Informática de Gestão ou similar; · Pelo menos 3 anos de experiência com modelagem de ...
-
Data Platform Engineer
há 2 semanas
Quickops Porto, PortugalRef. AO2089Estamos à procura de um Data Platform Engineer para se juntar a empresa líder na área de retalho.Se te consideras uma pessoa flexível e proativa e desejas enfrentar novos desafios profissionais, envia-nos a tua candidatura Estamos ansiosos por fazer parte do teu cresci ...
-
Senior Data Engineer
há 1 semana
Humana Portugal Porto, PortugalReceba alertas de novas vagas de Engenheiro De Dados em: Brasil. · Engenheiro De Dados vagas em Brasil Engenheiro de Dados Júnior - Petz HoldingPessoa Estagiária em Engenharia de DadosPessoa Analista de Dados Pl - Analytics EngineeringLIVELO: Recém-graduadas para área de Engenhar ...
-
Data Engineering Intern
há 3 semanas
Adidas Porto, PortugalData Engineering is all about making sure that the organizational data, coming from both internal and external sources, is stored, processed and analysed as effectively and efficiently as possible. Being a Data Engineer means having a deep understanding of techniques and technolo ...
-
Full-Stack Data Engineer
há 2 semanas
Employment Pro Limited Porto, PortugalBuscar vagas de emprego e oportunidades de carreira · Encontramos 735 vagas para Vagas de emprego full-stack-data-engineer .Receba alerta de vagas em seu email. Registre-se agoraFunção: Full Stack EngineerEmpresa: DevoteamTipo: Full-timeContrato: n/dLocalidade: Aveiro, Lisboa, Po ...
-
Data Engineer
há 2 dias
Randstad Portugal Espinho, Aveiro, Portugal Tempo integralA Randstad Professionals encontra-se a recrutar um Data Engineer para integração direta num cliente em Espinho. · Trabalho híbrido (4 dias presenciais por semana). · responsabilidades chave · Desenvolver e manter pipelines de dados utilizando cloud- AWS. · Projetar e implementar ...
-
Data Engineering Manager
há 5 dias
Metyis Porto, PortugalWe are looking for a Data Engineering Manager to join our Team in Porto. · **What we offer**: · - Interact with senior stakeholders at our clients on regular basis to drive their business towards impactful change. · - Become the go-to person for end-to-end data handling, manageme ...
-
Data Engineer
há 2 dias
Integer Consulting Braga, Portugal Tempo integralA Integer Consulting é uma empresa portuguesa de consultoria em tecnologias de informação. Somos especialistas em serviços de IT outsourcing, software, projetos de nearshore e desenvolvimento à medida. Somos parceiros dos principais players tecnológicos a nível mundial e trabalha ...
-
Data Engineer
há 2 semanas
AskBlue Porto, PortugalWe are currently looking for a Data Engineer to integrate one of your project teams in Lisbon or Porto. Main Tasks: Develop and design data pipelines/ETL in Python; Industrialize processes for full automation; Assess client needs, understand the business and deliver a proper solu ...
-
Data Engineer
há 2 semanas
Closer Consulting Porto, PortugalCloser is a tech company created in . Carrying innovation in our DNA, we are a 100% Portuguese company with offices in Portugal, Brazil, the United Kingdom, and Hong Kong. Being proud of our steady growth and impact in the IT market, we are conscious of the importance of the role ...
-
Senior Data Engineer/ Data Engineer
há 3 semanas
Maersk Porto, Portugal Tempo integralMaersk is going through times of unprecedented change. From the farm to your refrigerator, the factory to your wardrobe, we are developing solutions that meet customer needs from one end of the supply chain to the other. Digitization and IT are taking center stage in enabling our ...
-
Data Engineer
há 2 semanas
We Are Meta Porto, PortugalData Engineer (French Speaker)PortoPython,Pyspark,Hadoop,GCP,machine learning · Are you a Data Engineer? Become a Rhino join the #crash We are META, more than a company a TEAM that will shake your idea about tech recruitment. Based in Évora but acting mainly in a remote way, we ...
-
Data Engineer
há 2 semanas
Keyrus Porto, PortugalEmpowered by our motto, " Making Data Matter ", Keyrus stands at the forefront of global consultancy in Data & Analytics, AI & Machine Learning, and Digital Transformation. With a presence in 27 countries across 4 continents, we're on a mission to elevate the impact of data. · We ...
-
Data Engineer
há 1 semana
25Friday Porto, PortugalWe are 25Friday 25Friday takes technological innovation to a next level, assuring the growth and success of both Tech Companies and Tech Talents How do we do it? With the mastery of our people: a team gathered by some of the best technological experts Together, they assure that w ...
Data & Ai Engineer - Porto, Portugal - Capgemini
Descrição
Key responsibilitiesPosted on 03 Oct 2023
Experience level Experienced Professional
When you join Capgemini, you don't just start a new job. You become part of something bigger.
We bring together passionate, skilled people, a tech-driven approach to innovation, and a deep commitment to our clients to help organizations unlock the true value of technology.
As a graduate or an experienced professional, you will be working with the world's leading brands to enhance and transform the way they do business.
#J-18808-Ljbffr