Protocolo de pruebas · Programación

IA para programación: dificultad y criterios.

Esta ficha define qué se medirá antes de ejecutar modelos. Una prueba reproducible vale más que una respuesta llamativa aislada.

Muestra de tareas

Qué debe resolver un modelo.

Los casos se preparan con datos permitidos, una instrucción estable y un criterio de aceptación que pueda comprobar otra persona.

  • Depuración y explicación de errores
  • Pruebas, documentación y refactorización
  • Tareas de repositorio con pasos definidos

Lote inicial · octubre 2026

Modelos que conviene incluir en la primera pasada.

Son candidatos por adecuación declarada, canal de acceso y tarifa, no posiciones de un ranking. Ejecuta el mismo lote sobre todos los que estén disponibles en tu entorno y conserva el resultado completo.

Pruebas propias pendientes

Modelo de frontera de Meta para tareas agénticas personales y profesionales, con memoria activa y capacidad de mantener el foco en trabajos largos.

AgentesCódigoDocumentos
Según proveedor contextoPrecio público y ventana de contexto no publicados en el anuncio; disponibilidad inicial en Meta Model API y Muse Code. Ver ficha
Datos externos disponibles

Modelo de Anthropic que combina velocidad e inteligencia para programación, agentes y trabajo profesional cotidiano, con razonamiento adaptativo.

ProgramaciónAgentesTrabajo diario
1M contexto2 USD de entrada · 10 USD de salida por 1M de tokens Ver ficha
Datos externos disponibles

Modelo de OpenAI cercano a GPT-6 Astra en tareas complejas, con un coste menor para programación, computer use y trabajo profesional.

ProgramaciónAgentesTrabajo profesional
1,05M contextoEstándar: 2 USD entrada · 10 USD salida por 1M; con más de 272K de entrada: 4/15 USD. Fast x2, Ultrafast x6. Ver ficha
Datos externos disponibles

Modelo MoE de Qwen para programación agéntica, uso de herramientas y tareas de repositorio con pesos abiertos.

CódigoAgentesRepositorios
256K nativo · 1M con extensión contextoConsulta la tarifa del canal de acceso en las fuentes de la ficha. Ver ficha
Datos externos disponibles

Nueva generación Flash de DeepSeek con entrada nativa de texto e imagen, modos thinking y non-thinking y una tarifa orientada a cargas de alto volumen.

Alto volumenCódigoRazonamiento multimodal
1M contexto0,15 USD de entrada · 0,6 USD de salida por 1M de tokens Ver ficha

Dificultad

Tres niveles para no mezclar trabajos distintos.

01 · NIVEL

Básica

Una tarea concreta, datos completos y una salida con formato verificable.

02 · NIVEL

Intermedia

Varias restricciones, contexto de trabajo y comprobación de consistencia.

03 · NIVEL

Avanzada

Varios pasos, información incompleta controlada, coste y éxito medibles.

Matriz de evaluación

Cómo se decide si una respuesta sirve.

  1. Resultados en benchmarks de código comparables
  2. Ventana de contexto y salida estructurada
  3. Coste por tarea y latencia en el flujo real

Además del criterio principal, cada ejecución conserva el modelo y versión exactos, configuración, tokens, coste, latencia, error y revisión necesaria.

Publicación

Cuándo aparecerá un resultado.

Solo se publicará una puntuación cuando la muestra, el prompt, la configuración, la fecha y el criterio de éxito estén disponibles. Hasta entonces esta página es un protocolo, no un ranking encubierto.

Límites del sector

Qué no automatizar sin control.

  • No ejecutes código generado sin revisarlo
  • No expongas secretos ni repositorios sensibles
  • Mide con tareas representativas de tu stack
Volver a la guía sectorial →