Corte guardado
Datos consultables, no llamadas a modelos.
Las filas incluyen categorías y configuraciones, no ese número de benchmarks independientes. Se actualizan a petición y conservan su fecha de origen. Captura del corte: .
Explorador de evidencias
Filtra la tarea antes de leer la cifra.
Para consultar Arena, selecciona «Preferencia / uso» o «Todos los tipos» en el filtro de evidencia. Sus votos no son una prueba técnica de aciertos.
| Versión evaluada | Fuente y tarea | Resultado publicado | Configuración, muestra y recursos | Fecha y trazabilidad |
|---|---|---|---|---|
| Llama-4-Scout-17B-16E-Instruct | Berkeley BFCL ↗BFCL V4 · MemoriaMemoria · Memory AccEvaluación técnica externa | 8,17 %Porcentaje del evaluador · escala 0–100Un valor mayor es mejor en esta métrica | FC · llamadas a funciones nativas24,68 US$ · coste estimado del benchmark completoBFCL V4 · archivo oficialVersión: 4Identidad y recursosLlama-4-Scout-17B-16E-Instruct El coste pertenece al experimento completo, incluidos fallos; no es una tarifa API actual ni el coste de esta categoría aislada. Revisión fuente: cadd76a8dc62984e7bf15ecaf358f070bae745cc | Publicado Captura: Corte anterior: más de 90 días respecto a su captura.Metodología ↗ |
| Llama-4-Scout-17B-16E-Instruct | Berkeley BFCL ↗BFCL V4 · Resumen del evaluadorGeneral · Overall AccEvaluación técnica externa | 28,13 %Porcentaje del evaluador · escala 0–100Un valor mayor es mejor en esta métricaPosición en la fuente: 72 | FC · llamadas a funciones nativas24,68 US$ · coste estimado del benchmark completoBFCL V4 · archivo oficialVersión: 4Identidad y recursosLlama-4-Scout-17B-16E-Instruct El coste pertenece al experimento completo, incluidos fallos; no es una tarifa API actual ni el coste de esta categoría aislada. Revisión fuente: cadd76a8dc62984e7bf15ecaf358f070bae745cc | Publicado Captura: Corte anterior: más de 90 días respecto a su captura.Metodología ↗ |
| Llama-4-Scout-17B-16E-Instruct | Berkeley BFCL ↗BFCL V4 · Varios turnosVarios turnos · Multi Turn AccEvaluación técnica externa | 9 %Porcentaje del evaluador · escala 0–100Un valor mayor es mejor en esta métrica | FC · llamadas a funciones nativas24,68 US$ · coste estimado del benchmark completoBFCL V4 · archivo oficialVersión: 4Identidad y recursosLlama-4-Scout-17B-16E-Instruct El coste pertenece al experimento completo, incluidos fallos; no es una tarifa API actual ni el coste de esta categoría aislada. Revisión fuente: cadd76a8dc62984e7bf15ecaf358f070bae745cc | Publicado Captura: Corte anterior: más de 90 días respecto a su captura.Metodología ↗ |
No ordenamos por puntuación escalas incompatibles. El CSV conserva la unidad original, las fuentes, la licencia y las configuraciones; no incluye datos privados de usuarios.
Estado de la conexión
Qué aporta cada fuente.
Arena
Preferencia y señales de usuarios por categoría; no es una tasa de acierto universal.
Datos conservados · última actualización no completada
Consultar esta fuente →Repositorio o documentación oficial ↗MTEB
Resultados de tareas de embeddings enviados al repositorio del benchmark; no todos los ejecuta el equipo de MTEB.
Datos disponibles
Consultar esta fuente →Repositorio o documentación oficial ↗Berkeley BFCL
Uso de herramientas, llamadas a funciones y escenarios de varios turnos. FC y Prompt se conservan separados; el coste es una estimación del benchmark completo.
Datos disponibles
Consultar esta fuente →Repositorio o documentación oficial ↗Terminal-Bench
Tareas de agentes en terminal. El resultado pertenece al conjunto agente, versión, modelo y esfuerzo de razonamiento; no al modelo aislado.
Datos disponibles
Consultar esta fuente →Repositorio o documentación oficial ↗Artificial Analysis
Índices, velocidad, latencia y rankings Elo de LLM y modalidades multimedia desde su API oficial. Requiere una clave de datos y atribución; no consume tokens de inferencia.
Pendiente de clave gratuita de datos
Consultar esta fuente →Repositorio o documentación oficial ↗Explorar las evidencias
Las cifras bajan hasta la versión.
Atribución y reutilización
Los autores del dato siguen visibles.
Arena publica el dataset bajo CC-BY-4.0; MTEB distribuye sus resultados bajo CC0; los archivos importados de Berkeley BFCL y Terminal-Bench están bajo Apache-2.0. IA Versus selecciona versiones y columnas, mantiene la precisión guardada y redondea solo la presentación.
Artificial Analysis solo se consulta mediante su API oficial cuando exista una clave configurada. La tabla descargable de SWE-bench tiene condiciones no comerciales: no la importamos aquí sin permiso.
Cómo leer resultados y costes
No inventamos una prueba que no hemos hecho.
Arena mide preferencia y señales de uso. MTEB evalúa tareas de embeddings; nDCG en porcentaje no significa porcentaje de tareas resueltas. BFCL prueba herramientas con modos FC y Prompt distintos. Terminal-Bench mide agentes en terminal y necesita conservar también su versión.
El coste publicado pertenece al experimento completo, no a una tarifa API vigente. Cuando hay aciertos e importe registrado, mostramos lote / intentos correctos como cálculo descriptivo, no como coste de una tarea real ni promesa de eficiencia. Un coste registrado de cero no demuestra acceso gratuito.
La fecha de un archivo de entrega tampoco es la fecha de ejecución o de lanzamiento del modelo. Un corte antiguo se señala sin cambiar su fecha para aparentar una prueba reciente. Estas cifras no generan automáticamente un ganador ni una nota global.
Leer la metodología de IA Versus →