Senior Staff Software Engineer, AI Runtime

Sobre el rol

Databricks busca un/a Senior Staff Software Engineer para AI Runtime, el producto serverless que permite a empresas ejecutar entrenamientos en GPU de cualquier escala junto a sus datos. Definirás la arquitectura y la dirección técnica de largo plazo de esta infraestructura de entrenamiento.

Qué harás

• Liderar la arquitectura y la estrategia técnica de AI Runtime y la infraestructura de entrenamiento en GPU.
• Definir la estrategia de confiabilidad y observabilidad de una flota de GPUs en crecimiento.
• Resolver los problemas más difíciles de entrenamiento multinodo: orquestación, scheduling de GPU, carga de datos y checkpointing.
• Mejorar la velocidad y el costo del entrenamiento en distintas arquitecturas de modelos y aceleradores.
• Diseñar la experiencia de desarrollo para personas y agentes, y colaborar con research, producto y clientes.

Requisitos

• Más de 15 años en sistemas distribuidos a gran escala, con profundidad en entrenamiento con GPU, HPC o ML systems.
• Experiencia práctica entrenando modelos grandes con FSDP, DeepSpeed o Megatron y dominio de estrategias de paralelismo.
• Experiencia en performance de GPU: arquitectura de aceleradores, interconexiones y kernels.
• Conocimiento de patrones de resiliencia y de plataformas cloud multi-tenant como producto.
• Licenciatura en Ciencias de la Computación o afín; se prefiere maestría o doctorado.