Sr Databricks Data Engineer

Place of work Ahmedabad
Contract type -
Start date -
Salary -

Job details

Job description, work day and responsibilities

En Derevo empoderamos a las empresas y las personas, liberando el valor de los datos en las organizaciones.

Con más de 15 años de experiencia, diseñamos soluciones de datos e IA de punta a punta: desde la integración en arquitecturas modernas hasta la implementación de modelos inteligentes en procesos clave del negocio.

¡¡Buscamos tu talento Sr Data Engineer (Databricks) !! ✋????

¿Cual será tu misión?

Serás pieza clave para crear e implementar arquitecturas modernas de datos con alta calidad, impulsando soluciones analíticas basadas en tecnologías de Big Data. Diseñarás, mantendrás y optimizarás sistemas de multiprocesamiento paralelo, aplicando las mejores prácticas de almacenamiento y gestión en data warehouses, data lakes y lakehouses. Serás el apasionado que recolecta, procesa, limpia y orquesta grandes volúmenes de datos, entendiendo modelos estructurados y semi–estructurados, para integrar y transformar múltiples fuentes con eficacia. Definirás la estrategia óptima según objetivos de negocio y requerimientos técnicos, convirtiendo problemas complejos en soluciones alcanzables que ayuden a nuestros clientes a tomar decisiones basadas en datos.

???????????? ¿Como lo harás?
• Te integrarás al proyecto, sus sprints y ejecutarás las actividades de desarrollo aplicando siempre las mejores prácticas de datos y las tecnologías que implementamos.
• Identificarás requerimientos y definirás el alcance, participando en sprint planning y sesiones de ingeniería con una visión de consultor que aporte valor extra.
• Colaborarás proactivamente en workshops y reuniones con el equipo interno y con el cliente.
• Clasificarás y estimarás actividades bajo metodologías ágiles (épicas, features, historias técnicas/usuario) y darás seguimiento diario para mantener el ritmo del sprint.
• Cumplirás las fechas de entrega comprometidas y gestionarás riesgos comunicando desviaciones a tiempo.

✅Qué beneficios tendrás?
• WELLNESS: Impulsaremos tu bienestar integral a través del equilibrio personal, profesional y económico, Nuestros beneficios de ley y adicionales te ayudarán a lograrlo.
• LET´S RELEASE YOUR POWER: Tendrás la oportunidad de especializarte de manera integral en diferentes áreas y tecnologías, logrando así un desarrollo interdisciplinario. Te impulsaremos a plantearte nuevos retos y superarte a ti mismo.
• WE CREATE NEW THINGS: Nos gusta pensar fuera de la caja. Tendrás el espacio, confianza y libertad para crear y la capacitación que se requiera para lograrlo.
• WE GROW TOGETHER: Participarás en proyectos tecnológicos punteros, multinacionales y con equipos extranjeros.

????Dónde lo harás?

Somos un gran equipo trabajando en un esquema remoto, somos flexibles y estructurados; proporcionando el equipo necesario para trabajar y herramientas de comunicación interna que faciliten nuestra operación y la de nuestros clientes.

???? ¿Qué pedimos?

Para Que Te Puedsas Incorporar y Sentirte Como Pez En El Agua Siendo Un Data Engineer En Derevo, Esto Es Lo Que Consideraremos

Manejo del idioma inglés a nivel avanzado (Conversaciones técnicas y de negocios, B2+ o C1)

Experiencia En

Lenguajes de Consulta y Programación:

T-SQL / Spark SQL
• DDL y DML, consultas intermedias y avanzadas (subconsultas, CTEs, joins múltiples con reglas de negocio), agrupación y agregación (GROUP BY, funciones de ventana, métricas de negocio), procedimientos almacenados para ETL/ELT, optimización de índices, estadísticas y planes de ejecución para procesos masivos

Python (PySpark)
• Programación orientada a objetos (clases, módulos), gestión de estructuras y tipos de datos (variables, listas, tuplas, diccionarios), control de flujo mediante condicionales y bucles, ingestión de datos estructurados y semiestructurados, desarrollo de DataFrames y UDFs, ventanas temporales y particionado para optimización, buenas prácticas de código (PEP8, modularidad)

Databricks
• Apache Spark & DataFrame API: Diseño de pipelines que aprovechan la API de DataFrames para transformaciones masivas; uso de funciones declarativas y expresiones vectorizadas.
• Delta Lake: Administración de tablas Delta con ACID transactions, time travel para auditoría y partition pruning para lecturas eficientes dentro de la medallion architecture.
• Autoloader & Data Ingestion: Configuración de ingesta incremental en OneLake o ADLS Gen2 con Auto Loader, captura de cambios de esquema (schema evolution) y checkpointing para garantizar exactly-once delivery sin código adicional.
• Structured Streaming: Orquestación de flujos en tiempo real con triggers event-time y processing-time, watermarking y operaciones stateful para baja latencia y tolerancia a fallos.
• Delta Live Tables (DLT): Declaración de pipelines ETL/ELT en SQL o Python con calidad de datos integrada (Expectations), manejo automático de dependencias y monitoreo continuo.
• Performance Optimization: Técnicas de caching, broadcast joins, shuffle optimizations y uso de formatos columnar (Parquet/Delta) con Z-Ordering y OPTIMIZE para reducir tiempos de procesamiento.
• Lakehouse Federation: Consulta unificada sobre fuentes externas a través de Unity Catalog;
• Jobs & Workflows: Creación de pipelines multietapa con dependencias, retries automáticos, scheduling o llegada de datos; integración con Azure Data Factory si es necesario.
• Repos & CI/CD: Versionado de notebooks y scripts en GitHub/Azure DevOps, configuración de pipelines de validación (unitarias y de esquema) y despliegue automatizado en entornos dev-test-prod.
• Monitoreo y Observabilidad: Alertas mediante notificaciones de jobs de Workflows ante eventos como fallos y generación de alertas proactivas automatizadas

Si cumples con la mayoría de los requisitos y te interesó el perfil no dudes en postularte, que nuestro equipo de Talent te contactará! ????????

Become derevian & develop your superpower!

Company address

India
Gujarat
Ahmedabad
Show on map Get directions
Company Name: Confidential
You will be redirected to another website to apply.
Offer ID: #1112213, Published: 2 weeks ago, Company registered: 3 months ago

Other offers

C++ Developer (Python exp) with Sweden Based
1969login
· Pune, IN
Job role- Software Engineer- (C/C++) Location- Pune Work Mode - Hybrid mode- 3 days’ work from Office Experience- 8+ Yrs Roles & Responsibilities: - As acoustic development engineer, you will work in the Product Deve...
Senior React.js Front-End Developer
1969login
· Pune, IN
???? We’re Hiring! ???? Giantmind Solutions is looking for experienced Front-End Developers to join our team onsite in Pune. ???? Skills Required: React.js, TypeScript, HTML/CSS, AWS, CI/CD, and REST API integration ????...
Software Engineer - VP (Python)
1969login
· Pune, IN
Embark on a transformative journey as Software Engineer - VP (Python) at Barclays, where you'll spearhead the evolution of our digital landscape, driving innovation and excellence. You'll harness cutting-edge technology ...
-Java Microservices Sr.Developer-GTPL-C12-
1969login
· Pune, IN
Job Purpose: The primary purpose of this role is to work on the development work for the Product Processor Technology area. This will involve working closely with the business and SMEs to prioritize business requests, ma...
Java Developer - Digital Solution Consultant Sr. Analyst
1969login
· Pune, IN
Req ID: 327770 NTT DATA strives to hire exceptional, innovative and passionate individuals who want to grow with us. If you want to be part of an inclusive, adaptable, and forward-thinking organization, apply now. We are...
Software Engineer-Backend
1969login
· Pune, IN
What’s in it for you? Small Team, Big Impact We are a small team taking the next step in evolving our systems and infrastructure. You will play a key role in sharpening our technical execution as well as elevating our te...
Advisor, Software Development Engineering
1969login
· Pune, IN
Our software engineers at Fiserv bring an open and creative mindset to a global team developing mobile applications, user interfaces and much more to deliver industry-leading financial services technologies to our client...
UI Developer
1969login
· Pune, IN
Job Requirements Role and Responsibility Brief • Candidate shall be working as Developer/Senior Developer in the Responsive websites or applications development requiring interaction with cloud. It is an agile methodolog...
Senior Application Developer
1969login
· Pune, IN
Job Description • Angular, Java, Java Script, Spring framework, Spring boot, Microservices, Web Services (REST API) • Experience in Mongo DB • Oracle DB experience, SQL experience, working experience in Cloud based appli...
Senior Python Pyspark Developer
1969login
· Pune, IN
We are seeking a skilled and proactive Python / PySpark Developer to join our data engineering or analytics team. The ideal candidate will be responsible for building scalable data pipelines, performing large-scale data ...
Software Engineer- Java
1969login
· Pune, IN
About the Company We’re growing, fast, and for you that means many exciting opportunities to develop your career with us at Telstra. About the Role As a Software Engineer, you thrive on working with your team to design, ...
Remote
1969login
· Pune, IN
We, at Turing, are looking for remote software engineers to join our team to bring new ideas, features, and functionalities to designing, developing, and testing a range of software applications. Here’s your chance to ap...
Staff Fullstack Engineer
1969login
· Pune, IN
Tech+ is shaking up a 20-year-old industry, and we're not slowing down. Recognized by Inc. 5000 as one of the nation's fastest-growing companies. We're also proud to be ranked as the 23rd fastest growing company in Utah ...
Finance Cloud application programmer/Software Engineer
1969login
· Pune, IN
Job Description Some careers shine brighter than others. If you’re looking for a career that will help you stand out, join HSBC and fulfil your potential. Whether you want a career that could take you to the top, or simp...
AS400 Developer -
1969login
· Pune, IN
The ideal candidate will be responsible for developing high-quality applications. They will also be responsible for designing and implementing testable and scalable code. Responsibilities · Deep understanding of DB2/400 ...