Sr Databricks Data Engineer

Place of work Ahmedabad
Contract type -
Start date -
Salary -

Job details

Job description, work day and responsibilities

En Derevo empoderamos a las empresas y las personas, liberando el valor de los datos en las organizaciones.

Con más de 15 años de experiencia, diseñamos soluciones de datos e IA de punta a punta: desde la integración en arquitecturas modernas hasta la implementación de modelos inteligentes en procesos clave del negocio.

¡¡Buscamos tu talento Sr Data Engineer (Databricks) !! ✋????

¿Cual será tu misión?

Serás pieza clave para crear e implementar arquitecturas modernas de datos con alta calidad, impulsando soluciones analíticas basadas en tecnologías de Big Data. Diseñarás, mantendrás y optimizarás sistemas de multiprocesamiento paralelo, aplicando las mejores prácticas de almacenamiento y gestión en data warehouses, data lakes y lakehouses. Serás el apasionado que recolecta, procesa, limpia y orquesta grandes volúmenes de datos, entendiendo modelos estructurados y semi–estructurados, para integrar y transformar múltiples fuentes con eficacia. Definirás la estrategia óptima según objetivos de negocio y requerimientos técnicos, convirtiendo problemas complejos en soluciones alcanzables que ayuden a nuestros clientes a tomar decisiones basadas en datos.

???????????? ¿Como lo harás?
• Te integrarás al proyecto, sus sprints y ejecutarás las actividades de desarrollo aplicando siempre las mejores prácticas de datos y las tecnologías que implementamos.
• Identificarás requerimientos y definirás el alcance, participando en sprint planning y sesiones de ingeniería con una visión de consultor que aporte valor extra.
• Colaborarás proactivamente en workshops y reuniones con el equipo interno y con el cliente.
• Clasificarás y estimarás actividades bajo metodologías ágiles (épicas, features, historias técnicas/usuario) y darás seguimiento diario para mantener el ritmo del sprint.
• Cumplirás las fechas de entrega comprometidas y gestionarás riesgos comunicando desviaciones a tiempo.

✅Qué beneficios tendrás?
• WELLNESS: Impulsaremos tu bienestar integral a través del equilibrio personal, profesional y económico, Nuestros beneficios de ley y adicionales te ayudarán a lograrlo.
• LET´S RELEASE YOUR POWER: Tendrás la oportunidad de especializarte de manera integral en diferentes áreas y tecnologías, logrando así un desarrollo interdisciplinario. Te impulsaremos a plantearte nuevos retos y superarte a ti mismo.
• WE CREATE NEW THINGS: Nos gusta pensar fuera de la caja. Tendrás el espacio, confianza y libertad para crear y la capacitación que se requiera para lograrlo.
• WE GROW TOGETHER: Participarás en proyectos tecnológicos punteros, multinacionales y con equipos extranjeros.

????Dónde lo harás?

Somos un gran equipo trabajando en un esquema remoto, somos flexibles y estructurados; proporcionando el equipo necesario para trabajar y herramientas de comunicación interna que faciliten nuestra operación y la de nuestros clientes.

???? ¿Qué pedimos?

Para Que Te Puedsas Incorporar y Sentirte Como Pez En El Agua Siendo Un Data Engineer En Derevo, Esto Es Lo Que Consideraremos

Manejo del idioma inglés a nivel avanzado (Conversaciones técnicas y de negocios, B2+ o C1)

Experiencia En

Lenguajes de Consulta y Programación:

T-SQL / Spark SQL
• DDL y DML, consultas intermedias y avanzadas (subconsultas, CTEs, joins múltiples con reglas de negocio), agrupación y agregación (GROUP BY, funciones de ventana, métricas de negocio), procedimientos almacenados para ETL/ELT, optimización de índices, estadísticas y planes de ejecución para procesos masivos

Python (PySpark)
• Programación orientada a objetos (clases, módulos), gestión de estructuras y tipos de datos (variables, listas, tuplas, diccionarios), control de flujo mediante condicionales y bucles, ingestión de datos estructurados y semiestructurados, desarrollo de DataFrames y UDFs, ventanas temporales y particionado para optimización, buenas prácticas de código (PEP8, modularidad)

Databricks
• Apache Spark & DataFrame API: Diseño de pipelines que aprovechan la API de DataFrames para transformaciones masivas; uso de funciones declarativas y expresiones vectorizadas.
• Delta Lake: Administración de tablas Delta con ACID transactions, time travel para auditoría y partition pruning para lecturas eficientes dentro de la medallion architecture.
• Autoloader & Data Ingestion: Configuración de ingesta incremental en OneLake o ADLS Gen2 con Auto Loader, captura de cambios de esquema (schema evolution) y checkpointing para garantizar exactly-once delivery sin código adicional.
• Structured Streaming: Orquestación de flujos en tiempo real con triggers event-time y processing-time, watermarking y operaciones stateful para baja latencia y tolerancia a fallos.
• Delta Live Tables (DLT): Declaración de pipelines ETL/ELT en SQL o Python con calidad de datos integrada (Expectations), manejo automático de dependencias y monitoreo continuo.
• Performance Optimization: Técnicas de caching, broadcast joins, shuffle optimizations y uso de formatos columnar (Parquet/Delta) con Z-Ordering y OPTIMIZE para reducir tiempos de procesamiento.
• Lakehouse Federation: Consulta unificada sobre fuentes externas a través de Unity Catalog;
• Jobs & Workflows: Creación de pipelines multietapa con dependencias, retries automáticos, scheduling o llegada de datos; integración con Azure Data Factory si es necesario.
• Repos & CI/CD: Versionado de notebooks y scripts en GitHub/Azure DevOps, configuración de pipelines de validación (unitarias y de esquema) y despliegue automatizado en entornos dev-test-prod.
• Monitoreo y Observabilidad: Alertas mediante notificaciones de jobs de Workflows ante eventos como fallos y generación de alertas proactivas automatizadas

Si cumples con la mayoría de los requisitos y te interesó el perfil no dudes en postularte, que nuestro equipo de Talent te contactará! ????????

Become derevian & develop your superpower!

Company address

India
Gujarat
Ahmedabad
Show on map Get directions
Company Name: Confidential
You will be redirected to another website to apply.
Offer ID: #1112213, Published: 6 days ago, Company registered: 4 months ago

Other offers

Soft Skills Trainer
1969login
· Surat, IN
Company Overview: Founded in 2022, UNIVO Education stands as a trailblazer in online higher education, helping universities offer and scale high-quality online degree programs. Our mission aligns with India's vision to e...
School Relationship Officer
1969login
· Surat, IN
Job Description – Approaching schools Making the proposition to the management/ concerned department Arranging the demo Handling all the documentation work until completion (signing up the contracts) Maintaining and repo...
Admission Marketing Executive
1969login
· Surat, IN
Job Description Taking care of all the marketing related activities. ATL & BTL Marketing. Generating Leads & Admissions Achieving Individual Targets Visiting Schools and Colleges for Presentations Conducting Semi...
Required Teachers
1969login
· Pune, IN
Required Teachers for Science and Maths for 5th to 10th Std. And Physics, Chemistry, Maths and Biology teachers for 11th and 12th Std. Science
Lead Preschool Teacher
1969login
· Pune, IN
Company Description Jump Thru Joy Preschool - India is an education management company located in Pune, Maharashtra, India. Role Description This is a full-time on-site role for a Lead Preschool Teacher at Jump Thru Joy ...
Manage|PR and Events
1969login
· Kolkata, IN
Designation: Manager - PR & Events (Head of PR and Events) Educational Qualification: Graduate and Above Experience: Minimum 5 to 7 Years of Relevant Experience Location: Kolkata Position Overview: We are looking for...
Events Manager
1969login
· Kolkata, IN
Satyam Spa is hiring candidates for Events Manager job in Kolkata with an experience of 0 year(s). Candidate would be responsible for securing venues, planning and managing events, negotiating quotes and agreements with ...
Events Coordinator
1969login
· Kolkata, IN
**Responsibilities**: - Identify the client’s requirements and expectations for each event. - Liaise with vendors, exhibitors, and stakeholders during the event planning process to ensure everything is in order. - Manage...
Social Media, Community and Event Manager
1969login
· Kolkata, IN
Luxembourg Expats Network is a leading platform dedicated to connecting expats, locals, and businesses in Luxembourg. We are a vibrant online community that brings together people through curated content, social media en...
Primary English Teacher
1969login
· Surat, IN
We are seeking a dedicated and passionate Female English Teacher for Primary Grades to join our school located in Gunjur on Sarjapur Road. Candidates with prior teaching experience in the Cambridge Curriculum will be giv...
IB Visual Arts Teacher
1969login
· Surat, IN
The Kulish School is seeking a passionate and creative Visual Arts Teacher to inspire young learners through the PYP and MYP frameworks. The ideal candidate will foster artistic expression, critical thinking, and interdi...
In Charge Teachers
1969login
· Surat, IN
1. Plan and deliver engaging visual arts lessons aligned with IB PYP & MYP objectives. 2. Cultivate students’ creativity and technical skills across various media.
Master Teacher
1969login
· Surat, IN
Dear Candidate, We hope this message finds you well! We’re excited to inform you about a wonderful opportunity to join Curious Junior ( https://www.curiousjr.com )– an initiative by Physics Wallah – as a Booster Course T...
English school Teacher
1969login
· Surat, IN
We are looking for a skilled and enthusiastic English Teacher to join a reputed school and contribute to developing students' proficiency in English language and literature. The teacher will be responsible for classroom ...
Teacher
1969login
· Surat, IN
Salary Range : Rs. 5000 - Rs. 8000 , based on skills, experience, and interview performance Educational Requirement : Graduate / Female Only Work Arrangement : Work From Office Gender Preference : Female only Skills Requ...