Cómo saber si un nuevo modelo de IA es realmente mejor para tu trabajo

Por qué los benchmarks de lanzamiento no responderán tu pregunta

Cada lanzamiento de vanguardia llega con un gráfico que lo muestra por delante en un conjunto de evaluaciones estandarizadas. Esas cifras son reales y también son casi inútiles para decidir qué usar el lunes, por tres razones.

Los márgenes son pequeños y las tareas no son las tuyas. Una diferencia de dos puntos en un benchmark de razonamiento no te dice nada sobre si un modelo escribe mejor un correo para un cliente o mantiene un esquema de forma más fiable a lo largo de doscientas filas.

Los benchmarks miden las tareas fáciles de puntuar. Cosas con una respuesta correcta. La mayoría del trabajo profesional no la tiene: el tono, la estructura, el criterio sobre qué dejar fuera. Ahí es exactamente donde más difieren los modelos y donde no se mide nada.

Las comparaciones de lanzamiento las hace el proveedor. No necesariamente de forma deshonesta, pero nadie publica la evaluación en la que su modelo quedó segundo.

La pregunta que vale la pena responder es más concreta: de las tareas específicas que haces veinte veces por semana, ¿cuál de estos dos es mejor? Eso no tiene respuesta publicada, y averiguarlo lleva alrededor de una hora.

Lo que realmente suele cambiar entre versiones

En los lanzamientos de vanguardia recientes, las mejoras que importan en el uso diario están siempre en las mismas áreas, y casi nunca son las que se destacan en el anuncio.

Qué mejoró	Cómo lo notas	Si el benchmark lo muestra
Cumplimiento de instrucciones	Deja de ignorar tu tercera restricción	Raramente
Instrucciones negativas	"No uses analogías" se cumple de verdad	No
Recuperación de contexto largo	Encuentra lo que buscas en la página 140, no solo en la página 3	Parcialmente
Disciplina de formato	La tabla tiene las columnas que pediste, siempre	No
Incertidumbre calibrada	Dice que no lo sabe en lugar de inventar	No
Control del tono	Menos reescrituras antes de que algo sea enviable	No
Profundidad de razonamiento	Detecta el caso límite que se te escapó	Sí, este es el que miden

Cinco de esas siete son invisibles en un gráfico de benchmark y son la razón por la que un modelo nuevo se siente mejor o peor para trabajar. El cumplimiento de instrucciones en particular es la diferencia entre un primer borrador que editas y un primer borrador que descartas.

La evaluación de una hora

Haz esto en lugar de leer la cobertura de lanzamiento. Ejecuta ambos modelos en paralelo con tu propio material.

1. Recopila cinco tareas reales de las últimas dos semanas. Tareas reales, con tu contexto real pegado, no prompts de juguete. Incluye al menos una tarea de escritura, una de salida estructurada y una en la que necesitaras razonar sobre algo desconocido.
2. Escribe qué contiene una buena respuesta para cada una, en una frase, antes de ejecutar nada. Este paso evita que prefieras la respuesta que sea más larga y más segura de sí misma, un sesgo fuerte y en gran parte inconsciente.
3. Ejecuta cada tarea contra ambos modelos en paralelo para que ninguna respuesta ancle a la otra.
4. Puntúa según el esfuerzo de edición, es decir, cuánto trabajo hay entre la salida y algo que enviarías. No según cómo suena.
5. Anota el tamaño de la diferencia, no solo quién ganó. Los resultados intercambiables te dicen que dejes de pensar en la elección de modelo para esa tarea, lo cual es realmente útil.
6. Guarda el registro. Dentro de tres meses, cuando llegue el siguiente lanzamiento, vuelves a ejecutar las mismas cinco tareas y obtienes una respuesta real en veinte minutos.

Ese último punto es el que se acumula. Un conjunto de evaluación guardado es lo único que hace barato evaluar cada lanzamiento siguiente.

Seis prompts que separan a los modelos de vanguardia

Las preguntas generales producen respuestas similares en cualquier modelo capaz. Si quieres ver una diferencia, presiona una capacidad específica.

• Tono bajo dificultad. Write a note telling a client we missed the deadline. Take responsibility without over-apologising and without excuses. Under 120 words. Las diferencias de registro aparecen de inmediato.
• Restricción negativa. Explain [concept] without using any analogy or metaphor. El cumplimiento de instrucciones negativas varía mucho más de lo que esperarías.
• Extracción estricta. Extract every date, amount, and party into a JSON array with exactly these keys. If a field is absent use null. Do not infer. Pone a prueba la disciplina de formato y la tendencia a rellenar huecos.
• Recuperación de contexto largo. Sube un documento largo y pregunta sobre algo en el medio. Revela el contexto realmente utilizable, que no es lo mismo que el contexto anunciado.
• Admitir ignorancia. Pregunta sobre algo genuinamente oscuro o muy reciente. La mejor respuesta es un claro "no lo sé" o una recuperación con fuentes. Inventar información aquí descalifica al modelo, sin importar ningún benchmark.
• Cumplimiento de múltiples restricciones. Da seis restricciones a la vez y cuenta cuántas sobreviven. Esta única prueba predice mejor la satisfacción del día a día que cualquier otra cosa de la lista.

La respuesta suele ser "ambos, para cosas distintas"

La gente aborda un lanzamiento queriendo un veredicto, y el hallazgo honesto tras ejecutar la evaluación casi siempre está dividido. Un modelo gana en escritura y tono. El otro gana en estructura estricta y velocidad. Están lo bastante cerca en razonamiento general como para que eso no decida nada.

Eso no es una trampa, es el resultado real, y tiene una implicación práctica. Si solo puedes usar un modelo, estás eligiendo en qué categoría de tarea vas a ser peor. Si puedes usar ambos, la pregunta del lanzamiento deja de ser "¿debería cambiar" y pasa a ser "qué tareas se mueven", que es una decisión mucho más pequeña y de menor riesgo.

También cambia lo que significa un lanzamiento para ti. Cuando llegan modelos nuevos a un espacio de trabajo que ya tiene varios, vuelves a ejecutar tus cinco tareas, ajustas tu enrutamiento y sigues adelante. No hay migración, ninguna suscripción cancelada ni un mes usando algo peor porque te comprometiste antes de probar.

Qué hacer el día del lanzamiento

No cambies tus valores predeterminados de inmediato. Las impresiones de la semana de lanzamiento están dominadas por la novedad y por los ejemplos que circularon primero.

Vuelve a ejecutar tu conjunto de evaluación. Veinte minutos si guardaste uno de la vez anterior.

Revisa las cosas aburridas. La ventana de contexto, si tus prompts existentes siguen comportándose igual y si algo en lo que confiabas ha cambiado. Un modelo que es mejor en general puede ser peor en tu plantilla específica, y vale la pena saberlo antes de pasarle trabajo de producción.

Actualiza el enrutamiento por tarea, no en bloque. Mueve las categorías donde el modelo nuevo ganó claramente y deja el resto igual.

Espera dos semanas para ver las limitaciones. Los modos de fallo de un modelo nuevo salen a la luz al cabo de unas dos semanas de uso amplio, y casi nunca están en el anuncio.

Para el marco general, consulta cómo elegir un modelo de IA, y para la mecánica de ejecutar dos modelos con el mismo prompt, consulta comparar modelos en paralelo.