Evaluando la evaluación: deje de calificar modelos, comience a calificar resultados
La precisión del punto de referencia es una métrica de vanidad en producción. Aquí está el arnés de evaluación que entregamos con cada compromiso.
Los benchmarks miden lo que a ti no te importa
Los benchmarks públicos responden una pregunta sobre modelos en general. Tú tienes una pregunta sobre un modelo, sobre tus documentos, para tu tarea, con tu tolerancia a un tipo concreto de error. Esas preguntas tienen muy poco que ver entre sí.
La brecha no es sutil. Un modelo que lidera una tabla general de razonamiento puede ser mediocre extrayendo un campo concreto de tus facturas de proveedor, porque tus facturas tienen una peculiaridad de maquetación que no aparece ni en la distribución de entrenamiento ni en el benchmark.
Los benchmarks sirven para reducir una lista de cuarenta candidatos a cinco. No sirven para la decisión posterior, y tratarlos como si sirvieran es como los equipos acaban defendiendo una elección de modelo que no pueden evidenciar.
Construir un conjunto de evaluación que valga algo
Un conjunto de evaluación útil se extrae de casos reales, se etiqueta con el resultado que de verdad te importa y se monta antes de construir nada. Doscientos casos bien elegidos ganan a veinte mil recolectados sin criterio.
El muestreo importa más que el volumen. Un conjunto extraído uniformemente del tráfico reciente estará dominado por la mayoría fácil y apenas se moverá cuando el sistema mejore o empeore en los casos difíciles. Sobrerrepresentar deliberadamente los extremos — los documentos ambiguos, las excepciones, los que un humano tuvo que escalar — da un conjunto con capacidad de discriminar.
Etiqueta el resultado, no el paso intermedio. Si el resultado de negocio es «esta reclamación se enrutó a la cola correcta», etiqueta eso, en lugar de etiquetar si se extrajo un campo concreto. Las etiquetas intermedias producen sistemas que optimizan lo intermedio y se alejan del resultado.
Puntuar lo que le importa al proceso
La precisión como número único esconde el intercambio que importa. En la mayoría de procesos empresariales los dos tipos de error tienen costes muy distintos: un falso positivo envía un documento a una persona que no necesitaba verlo, mientras que un falso negativo escribe un valor incorrecto en un sistema de registro.
Así que puntúalos por separado y pondéralos por su coste real. Después fija el umbral operativo a partir de esa ponderación y no de un valor por defecto. Un sistema ajustado para maximizar la precisión suele quedarse en un umbral que ningún responsable de operaciones habría elegido.
Cuando la salida es generativa y no clasificatoria, la puntuación necesita otro instrumento: normalmente una rúbrica aplicada por un modelo más fuerte, calibrada contra juicios humanos sobre una submuestra. Ese paso de calibración no es opcional. Un modelo-juez sin validar es un generador de números aleatorios con tono seguro.
Ejecutar la evaluación como control, no como informe
Una evaluación que corre mensualmente y produce una diapositiva es un informe. Una evaluación que corre en cada cambio y bloquea el despliegue cuando una puntuación empeora es un control, y solo la segunda evita algo.
Eso exige que la evaluación sea lo bastante rápida y barata como para correr constantemente, que es otro argumento a favor de un conjunto pequeño y bien elegido. Exige también que el umbral esté acordado de antemano, por escrito, por alguien con capacidad de decir que no.
El modo de fallo a vigilar es que el conjunto se quede obsoleto. Las distribuciones reales se mueven: aparecen tipos de documento nuevos, los sistemas de origen cambian de formato, el negocio empieza a tratar un caso que antes no existía. Un conjunto de evaluación al que no se ha añadido nada en un año mide el problema del año pasado, y reportará verde mientras el sistema se degrada.
Qué hacer con los resultados
La puntuación no es el entregable. La matriz de confusión sí. Saber que el sistema está en el noventa y uno por ciento no dice nada accionable; saber que casi todos los errores restantes son un tipo de documento mal enrutado en una única dirección dice exactamente qué construir a continuación.
Los errores deben volver al conjunto con su resultado correcto anotado, de modo que cada fallo en producción suba permanentemente el listón. Ese es el mecanismo por el que un sistema mejora a lo largo de los años en lugar de estancarse tras el lanzamiento.
Y los resultados necesitan vivir en algún sitio que no sea un cuaderno en el portátil de alguien: versionados con el código, comparables entre ejecuciones y legibles por quien tiene que firmar el despliegue.
Quién es dueño del umbral
Una puerta de evaluación solo funciona si alguien tiene autoridad para tumbar una entrega con ella, y esa persona debe estar designada antes del primer despliegue y no durante la primera regresión.
En la práctica es el responsable del proceso y no el responsable técnico, porque el umbral codifica un intercambio de negocio — cuántos falsos negativos son aceptables y a qué coste — y ese intercambio no es una decisión de ingeniería. Ingeniería es dueña de que el número se mida bien; operaciones es dueña de cuánto tiene que valer ese número.
Ponerlo por escrito convierte una discusión que si no ocurriría bajo presión de plazo en una decisión tomada con calma y por adelantado.
Formas habituales de estropear un conjunto de evaluación
La filtración es la primera. Si los casos usados para ajustar prompts o elegir ejemplos también están en el conjunto de evaluación, la puntuación mide memorización. Separa el conjunto antes de empezar y mantén la reserva genuinamente reservada.
El ruido de etiquetado es la segunda, y es más común de lo que los equipos suponen. Cuando dos humanos competentes discrepan sobre el resultado correcto, el techo de cualquier puntuación de modelo lo fija esa tasa de desacuerdo. Medir la concordancia entre anotadores en una submuestra te dice cuál es tu techo real, y de vez en cuando revela que la definición del proceso es ambigua.
La obsolescencia es la tercera y la más dañina en silencio, porque el sistema reporta verde mientras la distribución se mueve por debajo. Una regla permanente de que los fallos de producción se añaden al conjunto es la defensa más barata.