TRANSPARENCIA DE LA VALIDACIÓN
Qué ha cambiado.
Nuestra prueba comparativa publicada anteriormente frente a la que publicamos hoy, con el mismo corpus y en esta región. Ambos informes siguen disponibles íntegros; las cifras de abajo se calculan a partir de ellos, no se escriben a mano.
El panel de calificación también cambió. Nuestra ejecución anterior la calificó una pareja de modelos de jurado más pequeños y baratos. Vimos que cometían errores evitables (contaban mal las frases, interpretaban mal la estructura del documento), así que la ejecución actual la califican modelos más potentes. Hemos decidido expresamente no volver a calificar la ejecución anterior para igualarlas. Sus cifras se mantienen tal como se midieron ese día. Eso significa que parte del cambio en la cobertura que ves abajo refleja una mejor calificación y no un mejor producto, y preferimos decirlo antes que reescribir la historia sin avisar.
Qué cambiamos
- Proceso de grabación. Corregimos el filtrado por detección de actividad de voz y un retraso del decodificador que cortaban sin avisar el final de las grabaciones más largas. Esto explica la mayor parte de la mejora en la tasa de error de palabras.
- Referencia. Corregimos transcripciones de referencia que no coincidían con el audio en la forma de escribir y no en las palabras: números hablados escritos con letra, ortografías regionales, abreviaturas de unidades. Los errores de audición reales se dejaron; para eso está la prueba comparativa.
- Corrección tras la grabación. Ahora una segunda pasada vuelve a escuchar el audio y corrige los errores de transcripción antes de redactar la nota. Antes esto fallaba sin avisar en la mayoría de las grabaciones.
- Modelo de generación de notas. Lo actualizamos a un modelo más reciente y luego lo medimos en lugar de darlo por supuesto. Redujo el contenido inventado; no cambió de forma significativa la precisión de la transcripción, porque no es el que transcribe.
Por qué publicamos esto
Los proveedores de modelos cambian lo que hay detrás de una API sin anunciarlo, y que un proveedor diga que una actualización “será mejor” no es una prueba. Ejecutamos nuestra propia prueba comparativa, por región, por la misma ruta del navegador que usa un profesional sanitario, y publicamos lo que vimos en esa fecha. Si una ejecución futura empeora, también se publicará: o podemos explicarlo, o hemos encontrado algo que corregir.