Qwen 3.8
benchmark local.
Tres variantes de Qwen 3.8 corriendo en servidor propio, medidas con la misma suite de 200 prompts que los LLMs comerciales. Sin comparaciones de fichas técnicas: solo resultados, CO₂ y dónde viven tus datos.
Tres caballos, una carrera.
Misma familia Qwen 3.8, tres configuraciones distintas según el caso de uso.
qwen3.8-nothink
Razonamiento desactivado. Respuestas directas, latencia mínima y coste por token contenido. Para clasificación, extracción y resúmenes cortos, y para agentic loops.
- Latencia a primera token: la más baja
- Coste por 1k tokens: mínimo
- Uso típico: alto volumen de tareas simples
qwen3.8
La variante estándar, con razonamiento completo. El mejor punto entre latencia y calidad en escritura, programación intermedia y razonamiento multi-paso.
- Latencia: media
- Calidad: alta en MMLU / HumanEval / IFEval
- Uso típico: agentic, copilotos, redacción
qwen3.8-boost
Razonamiento extendido con verificación por pasos. Para problemas difíciles de matemáticas, razonamiento lógico multi-paso, debugging profundo y análisis complejo.
- Latencia: la más alta (piensa antes de responder)
- Calidad: máxima en AIME, ARC, GPQA
- Uso típico: los problemas que otros modelos no resuelven
Los números, comparados.
Mismos 200 prompts, misma temperatura, mismo contexto. Las puntuaciones de los modelos externos salen de sus últimos informes oficiales.
| Modelo | Tarea | Suite | Puntuación | Latencia P50 | Notas |
|---|---|---|---|---|---|
| qwen3.8-nothinklocal · essia | Clasificación | AgenticEval | 91,4 | 0,4 s | latencia mínima, ideal para alto volumen |
| qwen3.8-nothinklocal · essia | Extracción | ExtractionBench | 88,7 | 0,5 s | sin chain-of-thought, directo al grano |
| qwen3.8local · essia | Programación | HumanEval | 89,2 | 2,1 s | copiloto general, balanceado |
| qwen3.8local · essia | Conocimiento | MMLU | 84,6 | 1,8 s | razonamiento multi-paso estándar |
| qwen3.8local · essia | Sigue instrucciones | IFEval | 86,3 | 2,0 s | instrucciones compuestas con formato |
| qwen3.8-boostlocal · essia | Matemáticas | AIME | 71,8 | 14 s | razonamiento extendido, verificación paso a paso |
| qwen3.8-boostlocal · essia | Ciencia | GPQA | 68,4 | 12 s | problemas de grado universitario |
| qwen3.8-boostlocal · essia | Debug | SWE-bench lite | 41,2 | 18 s | razonamiento profundo sobre repos |
| GPT-4oapi · openai | Conocimiento | MMLU | 88,7 | 1,6 s | referencia comercial, razonamiento medio |
| GPT-4oapi · openai | Programación | HumanEval | 90,2 | 1,9 s | fuerte en code, datos pasan por la nube |
| Claude Sonnetapi · anthropic | Conocimiento | MMLU | 89,4 | 2,2 s | buena calidad general, retención en cloud |
| Claude Sonnetapi · anthropic | Programación | HumanEval | 92,1 | 2,4 s | referencia en code, datos fuera |
| Llama 3.1 70Bopen · self | Conocimiento | MMLU | 86,0 | 2,8 s | open-weights, self-host |
| Llama 3.1 70Bopen · self | Programación | HumanEval | 85,4 | 3,1 s | open-weights, self-host |
| Mistral Largeapi · mistral | Conocimiento | MMLU | 85,2 | 1,7 s | eu-hosted, buena latencia |
| Mistral Largeapi · mistral | Programación | HumanEval | 82,9 | 1,9 s | eu-hosted, datos en la UE |
* Latencia P50 medida en servidor propio para Qwen; para los modelos externos se usa la P50 informada por el proveedor (no es comparable exactamente). Puntuaciones de los modelos externos: últimos informes oficiales.
CO₂, datos, jurisdicción.
Lo que un benchmark comercial no te cuenta: la huella de carbono y donde viven tus datos.
- 01
Tus datos no salen de la casa
Prompts, respuestas y contexto quedan en el servidor. Sin retención de proveedor externo, sin perfilado, sin training con tu texto.
- 02
Soberanía de datos
Jurisdicción española, servidor propio; sin depender de un provider norteamericano que puede cambiar precios, políticas o ir a la quiebra.
- 03
Modelos open-weights
Qwen open-weights: puedes auditar la arquitectura, cuantizarlo a tu manera y ejecutarlo donde quieras. Sin depender de una API cerrada.
Cómo se mide.
Un benchmark solo vale si se puede reproducir. Así salen los números de esta página.
- 01
Una sola suite, 200 prompts
Clasificación, extracción, programación, conocimiento, seguimiento de instrucciones, matemáticas, ciencia y debug. Los mismos prompts para todos los modelos: ninguna tarea elegida a medida de nadie.
- 02
Mismas condiciones
Misma temperatura, mismo tamaño de contexto y mismo formato de respuesta para las tres variantes locales. Lo único que cambia es el modelo, no la prueba.
- 03
Latencia, con letra pequeña
P50 medida en el servidor propio para las variantes de Qwen. Para los modelos externos usamos la P50 que informa cada proveedor: orientativa, no comparable al milisegundo. El aviso vive en la propia tabla.
- 04
Suites públicas, informes oficiales
HumanEval, MMLU, IFEval, AIME, GPQA y SWE-bench lite. Para los modelos externos se toma el último valor publicado en sus informes oficiales.
- 05
Todo exportable
El csv de la tabla se descarga con un clic, y la suite se puede volver a correr en el servidor. Los números se pueden verificar o refutar.