¿Qué tan rápido es gpt-oss-120b? Velocidad, calidad y compromisos de routing en 2026

TL;DR

• gpt-oss-120b es un modelo de pesos abiertos publicado por OpenAI. OpenAI lo lanzó el August 5, 2025 bajo Apache 2.0. Es un modelo MoE con 117B de parámetros totales, 5.1B de parámetros activos por token, 128K de contexto, cuantización nativa MXFP4 y un objetivo de despliegue anunciado en una sola GPU de 80GB.
• La rapidez depende de la capa del benchmark. El resumen de Artificial Analysis en BenchLM, actualizado por última vez el June 19, 2026, muestra gpt-oss-120b con ~262 tok/s y una puntuación compuesta de calidad de ~34. Las páginas de Artificial Analysis a nivel de proveedor muestran cifras mucho más altas para proveedores alojados y optimizados, en especial Cerebras, porque miden una combinación específica de modelo y proveedor.
• Las tendencias de OpenRouter hacen visible la importancia del proveedor. La página de rendimiento de gpt-oss-120b en OpenRouter muestra la evolución del throughput, la latencia, la disponibilidad y las tendencias por proveedor; su documentación también ofrece el ordenamiento throughput-high-to-low y el atajo :nitro para dirigir solicitudes a proveedores más rápidos.
• La ventaja para ingeniería es el control, no una calidad universal. gpt-oss-120b resulta atractivo cuando necesitas pesos abiertos, despliegue local o privado, libertad para elegir proveedor y una velocidad de decodificación suficiente. Para trabajo agéntico de alto riesgo, considéralo un candidato que debes evaluar, no un reemplazo predeterminado para todos los modelos cerrados.
• Hay alternativas creíbles si buscas LLM más rápidos que sigan siendo suficientemente capaces. Al July 3, 2026, la lista práctica de candidatos no se limita a gpt-oss-120b: Gemini 3.5 Flash, GLM-5.2 (max), Qwen3.7 Max, Grok 4.20/4.3, modelos de la clase GPT-5.4 mini, Command A+, Nemotron, Mercury 2 y rutas de proveedores a través de Cerebras, Groq, SambaNova, Fireworks, Baseten, Nebius, Google Vertex, Azure, Cloudflare, Together AI y DeepInfra merecen una prueba según la carga de trabajo.

Qué aprenderás aquí

Este artículo está dirigido a ingenieros que deben decidir si gpt-oss-120b tiene lugar en su stack y cómo interpretar las afirmaciones sobre su velocidad.

• Qué es realmente gpt-oss-120b (arquitectura, licencia, contexto y fecha de lanzamiento)
• Por qué BenchLM, las páginas de proveedores de Artificial Analysis y las tendencias de OpenRouter pueden mostrar cifras de throughput diferentes
• En qué se diferencia gpt-oss-120b de gpt-oss-20b
• Cómo cambia el routing entre proveedores la latencia, el throughput, la disponibilidad y el costo
• Qué otros modelos publicados y proveedores vale la pena probar para flujos de trabajo suficientemente rápidos y capaces
• Los componentes del costo detrás de una inferencia más rápida
• Un marco práctico de evaluación que considera gpt-oss-120b como un candidato, no como una opción predeterminada universal

Empieza aquí: ¿qué es gpt-oss-120b?

El nombre publicado por OpenAI para el modelo es gpt-oss-120b. Forma parte de la familia de pesos abiertos gpt-oss junto con gpt-oss-20b.

OpenAI presenta gpt-oss-120b como un checkpoint abierto y sólido que puedes ejecutar, personalizar y usar a través de varios proveedores. Eso no significa que sea el mejor modelo para todas las cargas de trabajo de agentes en producción.

Engineer asks: "Should I run gpt-oss-120b as my default LLM?"

Only after you test it on your own evals.

Better default split:

    Open weights, private deployment, tunable serving  -> gpt-oss-120b
    Small local/dev path                              -> gpt-oss-20b
    Managed throughput priority                       -> gpt-oss-120b via fastest provider route
    Hard agent loops                                  -> compare against your strongest managed candidates
    Raw tok/s above all else                          -> check current Artificial Analysis/OpenRouter rankings

Modelo de la misma familia: gpt-oss-20b

OpenAI también ofrece gpt-oss-20b con 21B de parámetros totales, 3.6B de parámetros activos por token y un uso de memoria anunciado de 16GB. BenchLM lo sitúa en ~313 tok/s con una puntuación de calidad de ~16. Úsalo para entornos locales o de desarrollo donde probar routing y para pequeñas tareas estructuradas; usa gpt-oss-120b cuando necesites más capacidad de razonamiento con pesos abiertos.

Por qué no se sostiene la idea de «el más rápido y el más inteligente»

• Velocidad a nivel de modelo: el resumen de Artificial Analysis en BenchLM compara modelos en una tabla común. En esa vista, gpt-oss-120b se ubica en la categoría ultrarrápida, pero no ocupa el primer lugar.
• Velocidad a nivel de proveedor: las páginas de proveedores de Artificial Analysis comparan el mismo modelo servido por distintos proveedores. En esa vista, la elección del proveedor puede multiplicar el throughput.
• Velocidad a nivel de router: OpenRouter puede dirigir el mismo modelo a distintos backends. Su página de rendimiento y el modo de routing :nitro hacen explícito ese compromiso.
• Capacidad: una puntuación compuesta de benchmark no equivale a la precisión en tu tarea. gpt-oss-120b puede ser excelente para trabajo estructurado, privado o de alto volumen y aun así quedar por detrás en una evaluación difícil de agentes de programación.

gpt-oss-120b destaca cuando los requisitos incluyen pesos abiertos, elección de proveedor, despliegue privado o control de los costos de servicio. Debe demostrar que puede con las cargas agénticas más difíciles mediante resultados de evaluaciones, no por su marca.

Capacidad: útil, no universal

Sigue sin existir un único «número de CI» para los LLM. Para gpt-oss-120b, este es el resumen de capacidades respaldado por las fuentes:

• La publicación de lanzamiento de OpenAI de August 2025 afirma que gpt-oss-120b alcanza resultados casi equivalentes a o4-mini en benchmarks principales de razonamiento y admite uso de herramientas, esfuerzo de razonamiento configurable, salidas estructuradas y acceso completo a la cadena de pensamiento.
• La misma publicación afirma que gpt-oss-20b puede ejecutarse en dispositivos edge con 16GB de memoria y obtiene resultados similares a o3-mini en benchmarks comunes.
• El resumen de Artificial Analysis en BenchLM asigna a gpt-oss-120b una puntuación de calidad de ~34 y a gpt-oss-20b una de ~16. Tómalas como indicadores de una clasificación, no como requisitos de producto.
• Para agentes de programación de alto riesgo, flujos de trabajo de contexto largo o tareas donde una respuesta incorrecta resulte costosa, realiza una comparación específica de la tarea frente a tu lista de modelos gestionados.

Agentes de ingeniería con contexto largo

Para plataformas de agentes con contexto de 1M, este repositorio ya cubrió el panorama de May 2026 en Alternativas a Claude Opus 4.7 1M para ingenieros en 2026. En resumen: la ventana de contexto, el comportamiento de las herramientas, los precios y la integración con el IDE importan tanto como la velocidad bruta.

gpt-oss-120b tiene un límite de contexto de 128K en los materiales de lanzamiento publicados por OpenAI. Eso puede ser más que suficiente para muchas cargas de routing y extracción, pero no sustituye una arquitectura con contexto de 1M cuando el producto realmente depende de conjuntos de trabajo muy grandes.

Los más rápidos en July 2026: dónde se ubica gpt-oss-120b

La forma más segura de interpretar las afirmaciones sobre velocidad es mantener separadas tres perspectivas.

1. Resumen a nivel de modelo: BenchLM / Artificial Analysis

BenchLM agrega datos de velocidad de Artificial Analysis y se actualizó por última vez el June 19, 2026. Informa la mediana de tokens/s y una métrica de latencia hasta la primera respuesta. Para los modelos de razonamiento, la métrica de latencia puede incluir el tiempo de razonamiento, por lo que no siempre es comparable con el tiempo bruto hasta el primer token en streaming.

Esta vista responde: ¿qué tan rápido es el modelo en una clasificación pública normalizada de modelos?

2. Benchmark a nivel de proveedor: Artificial Analysis

Artificial Analysis también publica páginas a nivel de proveedor para gpt-oss-120b. Esas páginas comparan proveedores que sirven el mismo modelo, entre ellos Cerebras, Groq, SambaNova, Fireworks, Cloudflare, Azure, DeepInfra, Baseten, Together AI y otros.

Lo importante no es una cifra fija. Es que la elección del proveedor puede dominar el resultado de throughput. El July 3, 2026, Artificial Analysis mostraba a Cerebras como líder del throughput de proveedores de gpt-oss-120b por un amplio margen, con los siguientes proveedores agrupados cientos de tokens por segundo más abajo. La clasificación y las cifras exactas pueden cambiar a medida que los proveedores actualizan sus stacks de servicio.

Esta vista responde: ¿qué proveedor es el más rápido para este modelo exacto en este momento?

3. Tendencia a nivel de router: OpenRouter

La página de gpt-oss-120b en OpenRouter explica que distintas empresas pueden alojar el mismo modelo y que el modo de routing afecta al backend que recibe la solicitud. Su página de rendimiento registra la evolución del throughput, la latencia, la latencia de extremo a extremo, la disponibilidad y la distribución de proveedores.

En la vista de rendimiento de OpenRouter consultada el July 3, 2026, la tendencia de proveedores de gpt-oss-120b mostraba:

• Cerebras con aproximadamente ~698 tok/s de throughput promedio en la tendencia de proveedores de una semana
• Groq con aproximadamente ~383 tok/s de throughput promedio en la misma vista de tendencias
• una latencia promedio muy baja para los proveedores más rápidos, con diferencias de disponibilidad y tasa de errores que también importan en producción

OpenRouter también ofrece esto como un patrón de integración:

• GET /api/v1/models?sort=throughput-high-to-low ordena los listados de modelos por la mediana reciente de throughput.
• Agregar :nitro al slug de un modelo prioriza los proveedores por throughput.
• Establecer provider.sort en "throughput" hace lo mismo de forma explícita.

Esta vista responde: ¿cómo debería mi aplicación hacer routing para obtener velocidad según las condiciones actuales de los proveedores?

Engineer asks: "Where does gpt-oss-120b fit?"

    Model-level benchmark
        -> gpt-oss-120b is fast, but not the fastest row in the rollup

    Provider-level benchmark
        -> Cerebras has recently led gpt-oss-120b throughput on Artificial Analysis

    Router-level trend
        -> OpenRouter :nitro / provider.sort can change which backend serves the model

    Local or private deployment
        -> gpt-oss-120b if 80GB-class serving is acceptable

    Smaller local/dev path
        -> gpt-oss-20b

    Hard agentic workflow
        -> benchmark against your managed-model shortlist before routing by default

Alternativas: más rápidas y suficientemente capaces

Si la pregunta real es «¿qué más debería probar además de gpt-oss-120b?», empieza por un umbral en lugar de una marca. Para una aplicación orientada al usuario, una primera aproximación útil es:

Candidate model
    |
    +--> Is it fast enough for the interaction?       (tok/s, TTFT, end-to-end latency)
    +--> Is it smart enough for the task?             (eval score + your own task set)
    +--> Is the provider reliable enough?             (uptime, fallback behavior, data policy)
    +--> Is the price acceptable at expected volume?  (input, output, cache, retries)

Modelos alternativos para probar

A partir de la tabla de BenchLM derivada de Artificial Analysis del June 19, 2026, junto con las páginas de Artificial Analysis consultadas el July 3, 2026, estas son las alternativas publicadas más útiles para incluir en una comparación:

Mi lectura práctica: si hablamos del «LLM más rápido», Mercury 2 debe estar en la conversación. Si hablamos de «rápido y suficientemente capaz», Gemini 3.5 Flash, Qwen3.7 Max, GLM-5.2 (max) y los modelos Grok más rápidos son mejores primeras opciones para probar. Si hablamos de «servicio abierto o controlable», GLM-5.2 (max), gpt-oss-120b, gpt-oss-20b y los modelos de la clase Nemotron son más relevantes que los ganadores absolutos de las clasificaciones. La comparación de GLM/Qwen de BenchLM del July 3, 2026 presenta una decisión dividida: GLM-5.2 es más sólido para tareas agénticas, mientras que Qwen3.7 Max tiene ventaja en programación y tareas de conocimiento.

Proveedores alternativos para probar

Para un mismo modelo, la elección del proveedor puede importar tanto como la elección del modelo. El July 3, 2026, las páginas de proveedores de Artificial Analysis para gpt-oss-120b mostraban a Cerebras como líder en throughput, mientras que OpenRouter ofrecía tendencias en vivo de proveedores y controles de routing.

El mejor conjunto de evaluación suele ser pequeño:

Fast + high score
    -> Gemini 3.5 Flash, Qwen3.7 Max, GLM-5.2 (max), Grok 4.20/4.3

Open or controllable
    -> GLM-5.2 (max), gpt-oss-120b, gpt-oss-20b, Nemotron 3 Super 100B

Raw speed baseline
    -> Mercury 2, Command A+, provider-optimized gpt-oss-120b

Provider bakeoff
    -> Cerebras, Groq, SambaNova, Fireworks, Baseten, Nebius, plus your required cloud/provider

Por qué OpenAI ofrece dos tamaños de gpt-oss

La publicación de OpenAI de August 2025 sobre modelos abiertos presenta gpt-oss como una forma de ofrecer a los desarrolladores pesos abiertos que complementan los modelos alojados. Los dos tamaños implican distintos compromisos a la hora de servirlos:

                    +------------------+
                    | gpt-oss family   |
                    | open weights     |
                    +--------+---------+
                             |
            +----------------+----------------+
            |                                 |
            v                                 v
 +---------------------+           +---------------------+
 | gpt-oss-20b         |           | gpt-oss-120b        |
 | 21B total           |           | 117B total          |
 | 3.6B active/token   |           | 5.1B active/token   |
 | 16GB memory target  |           | 80GB memory target  |
 +----------+----------+           +----------+----------+
            |                                 |
            v                                 v
 small local/dev tasks              stronger open reasoning route

Los costos de servicio dependen de la combinación de activación dispersa de MoE, cuantización y control del routing. No se procesan todos los parámetros para cada token y puedes elegir entre ejecutar el modelo tú mismo o dirigir las solicitudes a proveedores especializados en throughput.

Por qué importa el routing entre proveedores

Para gpt-oss-120b, «¿qué modelo?» es solo la mitad de la decisión. La otra mitad es «¿qué proveedor y con qué política de routing?».

La documentación de OpenRouter describe varios controles relevantes:

• provider.order te permite probar proveedores en un orden fijo.
• provider.sort: "throughput" prioriza al proveedor más rápido.
• :nitro es el atajo para routing optimizado por throughput.
• preferred_min_throughput te permite expresar una preferencia flexible de throughput.
• allow_fallbacks controla si OpenRouter puede recurrir a otro proveedor.

Esos controles no son solo detalles operativos. Cambian la experiencia de usuario. Un proveedor con mejor throughput puede tener una latencia hasta el primer token, un precio, una disponibilidad, una política de datos o un comportamiento de llamadas a herramientas diferentes. Un router de producción debería registrar todos esos campos, no solo el nombre del modelo.

Dónde encaja gpt-oss-120b

Usa gpt-oss-120b cuando las restricciones del producto apunten hacia pesos abiertos o un servicio controlable:

• inferencia privada o autoalojada
• clasificación, extracción, transformación y routing de alto volumen
• cargas de trabajo para las que basta un contexto de 128K
• equipos que quieren ajustar o inspeccionar un checkpoint abierto
• inferencia gestionada sensible a la velocidad en la que el routing entre proveedores puede apuntar a un backend rápido

Ten más cautela cuando las restricciones del producto exijan la máxima precisión en la tarea:

• agentes autónomos de programación de varios pasos
• análisis de contexto largo por encima de 128K
• tareas que necesitan entradas multimodales no cubiertas por tu ruta de servicio de gpt-oss
• flujos de trabajo donde el fallback entre proveedores cambia el comportamiento de formas inaceptables
• casos de uso regulados donde el autoalojamiento traslada a tu equipo el trabajo de seguridad, registro y auditoría

Dónde OpenAI no siempre ocupa el puesto #1 en velocidad

Las gráficas públicas de velocidad están llenas de especialistas. En el resumen de BenchLM, Mercury 2 lidera la velocidad bruta de salida a nivel de modelo. Gemini 3.5 Flash tiene una puntuación de calidad mucho mayor que gpt-oss-120b y, aun así, lo supera en tokens/seg. En las vistas de proveedores de OpenRouter y Artificial Analysis, la infraestructura especializada como Cerebras puede dominar una combinación específica de modelo y proveedor.

Eso no significa que gpt-oss-120b sea débil. Significa que la afirmación correcta es más precisa:

El costo de la inferencia rápida

«Más rápido» puede implicar tres presupuestos diferentes. Los equipos de ingeniería suelen confundirlos.

Presupuesto 1: servir un modelo abierto por cuenta propia

La afirmación de OpenAI sobre el despliegue da el punto de partida: gpt-oss-120b puede ejecutarse con 80GB de memoria gracias a la cuantización MXFP4, mientras que gpt-oss-20b apunta a 16GB. Eso no hace que el autoalojamiento sea gratis. Todavía pagas por GPU, orquestación, monitoreo, procesamiento por lotes, respuesta a incidentes, revisiones de seguridad y mantenimiento de evaluaciones.

El autoalojamiento tiene sentido cuando la utilización, el control de datos, la personalización o la latencia justifican hacerse cargo del stack de servicio.

Presupuesto 2: acelerar un modelo existente al servirlo

De aquí proviene la mayor parte de la «velocidad» que percibe el usuario en 2026:

Investigaciones recientes sobre sistemas destacan el componente oculto: la sobrecarga de orquestación en el host. El paper TaxBreak (arXiv:2603.12465, 2026) muestra que los modelos MoE pueden despachar 8-11x más kernels por token de salida que los modelos densos, lo que convierte la orquestación de CPU y la latencia de lanzamiento en cuellos de botella de primer orden, no solo los FLOPs de GPU.

Otro paper de arXiv de 2026 sobre inferencia MoE («qs inequality», arXiv:2603.08960) sostiene que la eficiencia en FLOP durante el entrenamiento es un mal indicador de los costos de inferencia, especialmente con contextos largos, porque todos los expertos deben permanecer en memoria incluso cuando solo se activan unos pocos por token.

gpt-oss-120b es el ejemplo práctico: capacidad total de 117B, 5.1B activos, MXFP4 con la memoria de una GPU de 80GB. La ruta de servicio es menos exigente que la de un modelo denso con el mismo número total de parámetros, pero el stack del proveedor sigue importando.

Conclusión práctica: para los equipos de aplicaciones, la forma realista de ganar velocidad no suele ser entrenar un modelo nuevo. Es elegir el tamaño de modelo, el proveedor, la política de procesamiento por lotes, la política de caché y el comportamiento de fallback adecuados.

Presupuesto 3: pagar a un proveedor o router por velocidad

Si no controlas el stack de servicio, compras velocidad mediante el routing y la elección de proveedor:

• Tamaño del modelo (gpt-oss-20b vs gpt-oss-120b)
• Routing entre proveedores (procesamiento prioritario, capacidad dedicada)
• Decisiones de arquitectura (contexto más corto, menos viajes de ida y vuelta a herramientas, presupuestos de salida más pequeños)
• Routing híbrido (primero un modelo abierto rápido, después un modelo gestionado más potente si es necesario escalar)

Ese tercer presupuesto es donde deberían situarse la mayoría de los stacks de LLM en producción.

Si buscas un marco de comparación más profundo específicamente para modelos de programación nativos del IDE, empieza por Claude Sonnet 4.6 1M vs Composer 2.5 Fast. Si necesitas elegir un proveedor para contexto largo, consulta Alternativas a Opus 4.7 1M.

Limitaciones y lo que este artículo no demuestra

Ten presentes estos límites cuando integres gpt-oss-120b en producción:

• 262 tok/s es un resumen a nivel de modelo, no una garantía. Las medianas de BenchLM reflejan su tabla derivada de Artificial Analysis. Importan tu configuración de vLLM autoalojada, tamaño de lote, GPU, forma del prompt y ajustes de razonamiento.
• La velocidad a nivel de proveedor no es la velocidad a nivel de modelo. Las páginas de proveedores de Artificial Analysis y las tendencias de OpenRouter pueden mostrar un throughput mucho mayor o menor porque miden un backend específico.
• La puntuación de calidad ~34 es un indicador compuesto de una clasificación, no la precisión en tu tarea. Ejecuta tu propia evaluación antes de reemplazar una API gestionada predeterminada.
• Los pesos abiertos trasladan trabajo a tu equipo. La política de seguridad, el registro, la gestión de abusos, las plantillas de prompts, las evaluaciones y la respuesta a incidentes pasan a formar parte de tu implementación.
• Los atajos del router no sustituyen la observabilidad. :nitro y el ordenamiento por throughput son útiles, pero todavía necesitas registros de proveedor, latencia, fallback, tasa de errores y costo.

Qué observaría a continuación

Al July 3, 2026, estas son las señales que podrían cambiar la clasificación:

1. Clasificaciones de proveedores de Artificial Analysis - si Cerebras mantiene el primer lugar de throughput para gpt-oss-120b y cuánto se acercan los proveedores de GPU.
2. Tendencias de modelos rápidos en OpenRouter - si gpt-oss-120b sigue entre las opciones prácticas de routing más rápidas una vez que se incluyen la disponibilidad, la latencia y la distribución de proveedores.
3. Checkpoints de gpt-oss-120b ajustados - si el postentrenamiento específico de dominio reduce lo suficiente las diferencias de calidad para tu carga de trabajo.
4. Contextos abiertos más largos - si la familia gpt-oss supera 128K, revisa los supuestos de routing para contexto largo.
5. Mejoras del stack de servicio - vLLM, TensorRT-LLM, la decodificación especulativa y el hardware específico de cada proveedor pueden cambiar la relación entre costo y velocidad sin modificar el modelo base.

Fuentes

Fuentes primarias y secundarias de alta confianza utilizadas para este artículo:

• OpenAI - Presentación de gpt-oss (August 5, 2025)
• OpenAI - Documentación del modelo gpt-oss-120b para la API
• OpenAI - Repositorio de gpt-oss en GitHub
• Artificial Analysis - Clasificación de LLM
• Artificial Analysis - Análisis de inteligencia, rendimiento y precio de GLM-5.2 (max)
• Artificial Analysis - Análisis de inteligencia, rendimiento y precio de Qwen3.7 Max
• Artificial Analysis - Análisis de rendimiento y precio por proveedor de gpt-oss-120b
• BenchLM - Datos de velocidad de LLM provenientes de Artificial Analysis (actualizados el June 19, 2026)
• BenchLM - Comparación de GLM-5.2 vs Qwen3.7 Max (actualizada el July 3, 2026)
• OpenRouter - Precios de la API y benchmarks de gpt-oss-120b
• OpenRouter - Tendencias de rendimiento de gpt-oss-120b
• OpenRouter - Precios de la API y benchmarks de GLM 5.2
• OpenRouter - Precios de la API y benchmarks de Qwen3.7 Max
• Documentación de OpenRouter - API de modelos y ordenamiento por throughput
• Documentación de OpenRouter - Variante de routing de alta velocidad Nitro
• Blog de OpenRouter - Cómo funciona el routing de modelos
• arXiv:2603.12465 - TaxBreak: costos ocultos de la inferencia de LLM mediante la descomposición de la sobrecarga (2026)
• arXiv:2603.08960 - La desigualdad qs: doble penalización de MoE durante la inferencia (2026)

Artículos relacionados en este devlog:

• Claude Sonnet 4.6 1M vs Composer 2.5 Fast
• Alternativas a Claude Opus 4.7 1M para ingenieros en 2026
• Ventanas de contexto de LLM de 1M vs 200K