Encuentra tu próximo rol en IA

2 empleos/ buscar · ↑ ↓ navegar · ↵ abrir

T
Senior Software Engineer, Infraestructura de Evaluación de IA
Turing Remote (US)
No especificadoEncontrado por AICareersOnly. Nuestro equipo encontró esta vacante en la página oficial de empleos de la empresa. Te postulas directamente con el empleador.Nuevo
Ingenieríadjangobenchmarkspostgresqlhace 4 horas
W
Data Scientist, ML Engineering
Wizeline Ciudad de México, México
No especificadoEncontrado por AICareersOnly. Nuestro equipo encontró esta vacante en la página oficial de empleos de la empresa. Te postulas directamente con el empleador.
Ingenieríaazuredatabrickskuberneteshace 2 semanas

Senior Software Engineer, Infraestructura de Evaluación de IA

en TuringRemote (US)

Postularme

No especificadoEncontrado por AICareersOnlyRemotoTiempo completoSeniorIngeniería

AI Signal

Resumen del puesto

Sobre el rol

Turing busca una persona senior de backend para construir la infraestructura que los laboratorios de IA de frontera usan para evaluar agentes de código y modelos de lenguaje: datasets de benchmark, ejecuciones de evaluación a gran escala y controles automáticos de calidad de tareas. Tendrás propiedad de las features de punta a punta, desde el modelo de datos y los jobs en segundo plano hasta las pantallas de usuario.

Qué harás

Diseñar y entregar features completas: modelo de datos, API, workers en segundo plano y UI cuando sea necesario.
Ejecutar trials de agentes en entornos aislados, puntuar resultados y agregar miles de corridas en resultados confiables.
Mejorar la calidad de los benchmarks con verificadores, rúbricas y LLM-as-a-judge.
Integrar nuevos modelos, agentes y benchmarks de forma generalizable, sin casos especiales.
Mantener el sistema rápido y confiable: queries eficientes, migraciones seguras y buena concurrencia; revisar pull requests del equipo.

Requisitos

Normalmente 5+ años construyendo y operando sistemas backend en producción, con ownership de un servicio desde el diseño hasta on-call.
Python sólido, más experiencia con Django o similar, PostgreSQL y una cola de tareas como Celery.
Experiencia práctica en evaluación de LLM: construir tareas de benchmark, puntuar trials y comparar resultados (Harbor, Terminal-Bench, SWE-bench o Inspect son un plus).
Criterio para detectar instrucciones ambiguas, verificadores manipulables y respuestas filtradas.
Comodidad con un frontend en TypeScript/React y comunicación escrita clara.

djangobenchmarkspostgresqldockerllm-evaluationreactpythoncelery

Publicado hace 4 horas

Encuentra tu próximo rol en IA

Encuentra tu próximo rol en IA

Senior Software Engineer, Infraestructura de Evaluación de IA

Data Scientist, ML Engineering