Principios
Seis reglas antes de puntuar.
Identidad exacta
Separamos organización, familia, versión, endpoint, producto y plan. Nunca puntuamos una marca como si fuera un modelo.
Fuentes trazables
Las fichas enlazan la documentación consultada y su fecha de revisión. El estado técnico y el estado de evaluación se muestran por separado.
Comparabilidad
Solo se comparan tareas, configuraciones y ventanas temporales compatibles. Lo dudoso queda fuera del ranking.
Snapshots
El catálogo se actualiza por cortes y cada ficha conserva su fecha. La actualización semanal es la cadencia prevista; consulta el historial para ver qué se ha publicado.
Rankings mensuales
Los rankings se preparan para una cadencia mensual cuando haya evidencia comparable. Los votos de usuarios se consultan por separado.
Sin coste por visita
La web lee resultados precalculados. Las futuras pruebas propias se ejecutarán por lotes con un presupuesto máximo.
Evaluaciones externas
No existe un ranking oficial único.
El proveedor es la fuente principal para especificaciones y precios, pero no debe actuar como juez de su propio rendimiento. Para puntuar cruzaremos fuentes independientes según la tarea.
Resultados de herramientas, memoria y búsqueda. Los modos nativo FC y por instrucciones Prompt se presentan separados.
UC Berkeley ↗Agentes · tareas en terminalTerminal-BenchPruebas del conjunto agente + modelo. Conservamos versión del agente, dataset, esfuerzo, intentos, recursos y coste del experimento.
Harbor / Laude Institute ↗Embeddings · recuperaciónMTEBEjecuciones aportadas al repositorio de evaluación. La escala nDCG no equivale a una tasa de tareas resueltas.
MTEB ↗Académica · capacidades generalesHELMEvaluaciones reproducibles con múltiples escenarios, métricas y modelos.
Stanford CRFM ↗Preferencia humana · votos anónimosArenaComparaciones a ciegas útiles para medir preferencia, separadas de los benchmarks objetivos.
Arena ↗Programación · agentesSWE-benchPruebas sobre incidencias reales de repositorios; el agente y la configuración forman parte del resultado.
SWE-bench ↗Independiente · calidad, precio y velocidadArtificial AnalysisMide inteligencia, rendimiento de API y precio con metodología publicada.
Artificial Analysis ↗Los resultados públicos de Arena, MTEB, Berkeley BFCL y Terminal-Bench ya se consultan en fichas y comparativas como señales externas. Las pruebas propias comparables siguen en preparación. Solo publicaremos una puntuación si conserva modelo exacto, fecha, versión del benchmark, configuración, muestra y unidad. Dos resultados con distinto agente o esfuerzo no se tratarán como equivalentes.
Fórmula por tarea
Los pesos se publican y se versionan.
55% calidad + 15% programación + 20% valor + 10% velocidadNo existe una nota universal. Programación, investigación, imagen o atención al cliente necesitan muestras, métricas y pesos distintos.
Estos pesos definen el criterio del índice; no generan una nota si falta la evaluación. Calidad y programación exigen resultados de tareas, valor requiere coste y éxito observado, y velocidad requiere latencia medida. Los votos de comunidad no entran en esta fórmula.
Laboratorio futuro
Probar modelos sin fingir una equidad perfecta.
Casos, activos y límites iguales dentro de una ventana corta.
Mediana, dispersión, muestra e intervalo de confianza.
Tests, compilación y exactitud antes que un juez LLM.
Calidad, coste, latencia, fiabilidad y preferencia.
Publicación automática
Automatización y estado de las pruebas.
La ficha técnica puede publicarse antes de una evaluación de rendimiento. Las notas sólo se muestran cuando incluyen modelo, protocolo, versión metodológica, fecha y muestra. Mientras completamos los lotes comparables, las páginas permiten contrastar capacidades y tarifas.