Cómo medimos la precisión.

Por qué es una sola metodología y no dos

Es tentador publicar una cifra de WER y una “tasa de alucinaciones” aparte, en páginas distintas. No lo hacemos, porque comparten todo lo importante: el mismo audio, la misma ejecución de principio a fin, el mismo corpus versionado, la misma frecuencia de publicación y las mismas personas que aprueban la referencia de base. Separarlas en dos páginas sugeriría dos programas independientes; en realidad, una sola ejecución produce ambas cifras, y un empeoramiento en una suele aparecer también en la otra. Cada grabación pasa una vez por el sistema de producción; los resultados de esa única ejecución alimentan todas las capas de evaluación que se describen a continuación.

1. 1
   Grabación: audio + referencia literal + lista de datos registrada de antemano, con la versión fijada en el repositorio.
2. 2
   Ejecución de principio a fin: registro del profesional sanitario, creación del paciente, grabación, generación de documentos. Las mismas rutas que sigue un usuario en producción.
3. 3
   Capa A: WER compara la transcripción obtenida con la referencia.
4. 4
   Capa B: jurado de LLM califica el documento generado frente a la lista de datos, de forma atómica, un dato por llamada.
5. 5
   Agregación y publicación: un único aggregate.json genera la página pública de transparencia.

El corpus

Un conjunto fijo de grabaciones, con la versión fijada, sobre el que se ejecuta la metodología. Cada grabación va acompañada de una transcripción literal y de una lista de datos redactada a mano con los puntos clínicos que deberían aparecer en la nota generada (y los que no deben aparecer).

Hoja de ruta del corpus

Capa A: tasa de error de palabras

La capa mecánica. La tasa de error de palabras (WER) es una métrica consolidada del reconocimiento de voz: el número de sustituciones, inserciones y eliminaciones entre lo que se transcribió y lo que se dijo en realidad, dividido entre el número de palabras de referencia. Cuanto más baja, mejor; 0% significa que la transcripción coincidió palabra por palabra con la referencia.

• Biblioteca. jiwer, con la versión fijada en el archivo de bloqueo del banco de pruebas, para que las cifras exactas se puedan reproducir desde cualquier commit.
• Normalización. Minúsculas, eliminación de la puntuación, expansión de abreviaturas comunes (mg → miligramo, etc.), Unicode NFKC. Las reglas de normalización tienen la versión fijada; las diferencias estéticas no se penalizan, los errores reales sí.
• Intervalos de confianza. Remuestreo bootstrap de las grabaciones puntuadas, publicado junto a la tasa de error de palabras principal. La ejecución publicada de esta región es anterior a eso, así que su cifra sigue siendo una estimación puntual sin intervalo.
• Desglose por cohorte. Se calcula en total y por etiqueta del corpus: las condiciones que cada grabación debía poner a prueba, como el acento, la variación de idioma y la condición del audio. La variación entre cohortes es la señal de sesgo, incluso cuando las cifras absolutas son límites superiores.
• WER por grabación. Se publica para que un empeoramiento se pueda rastrear hasta una grabación concreta, en lugar de quedar enterrado en una media.

Comparación con otros productos. No hay nada con lo que compararse. La mayoría de los proveedores de escribas de escucha ambiental no publican ninguna tasa de error de palabras; los dos que encontramos que sí lo hacen (Nabla con un 11.8% y Abridge con un 12.7%) miden con pruebas internas que no publican, así que ninguna de las dos cifras se puede reproducir ni comprobar. La WER solo es comparable con el mismo audio y las mismas reglas de normalización, así que presentamos la nuestra en sus propios términos, con el corpus, las grabaciones y el método de calificación descritos arriba. Nos gustaría que otros proveedores publicaran la suya del mismo modo. Hasta que lo hagan, comparar nuestra cifra con la de cualquier otro no significaría gran cosa.

Limitación honesta. Una sustitución de gran impacto (10mg → 100mg) y una de poco impacto (okay → OK) cuentan igual en la WER bruta. Por eso existe la capa B: la corrección del contenido clínico no puede deducirse solo de la WER por token.

Capa B: jurado de LLM para la cobertura y las alucinaciones

La capa cualitativa. Un panel de evaluadores LLM independientes de varios proveedores califica el documento clínico generado frente a la lista de datos registrada de antemano para la grabación. Se miden por separado dos propiedades para poder informar de ellas por separado:

Las instrucciones exactas que ve cada jurado

Las instrucciones del sistema y la plantilla del mensaje de usuario tienen la versión fijada en el repositorio del banco de pruebas (app/next/tests/accuracy/lib/juror.ts) y se sincronizan con esta página cada vez que se actualizan los resultados. Ambas se reproducen literalmente abajo: los auditores ven exactamente lo que se le pidió al modelo, no una paráfrasis. Las repeticiones y la composición del panel varían; el marco de las instrucciones no.

Llamadas atómicas de una sola pregunta

Cada valoración que el banco de pruebas pide al jurado es un dato, una pregunta, una llamada. Es bien sabido que pedir a un modelo que califique una nota entera en una sola llamada produce una media de “parece correcto” en la que los errores individuales se diluyen. Las llamadas atómicas también se pueden auditar: cualquiera puede volver a ejecutar una sola valoración y ver las respuestas de los tres jurados más el veredicto del panel.

Qué cuenta como alucinación

Para cada resultado, el jurado recibe la transcripción y el documento generado. Cada jurado enumera todas las afirmaciones clínicamente relevantes del resultado que la transcripción no respalda: el modelo las inventó. El resultado del panel es la unión de todos los jurados, sin duplicados según el texto de la afirmación. La métrica principal solo cuenta las alertas confirmadas, es decir, las afirmaciones señaladas por ≥2 jurados; las alertas de un solo jurado se muestran como “provisionales” en el detalle de cada resultado, pero se excluyen de la cifra principal. El requisito de acuerdo entre dos jurados es lo que hace que la métrica resista los falsos positivos de un jurado con una interpretación estricta.

Decidimos expresamente no señalar el contenido que está fundamentado en la transcripción pero queda fuera de la lista de expectativas. detailsThatMustBeCaptured es una lista de imprescindibles, no un contrato de “esto es todo lo que debe contener el documento”: penalizar cada afirmación fundamentada que no estaba en ella producía demasiados falsos positivos, sobre todo en las notas de tipo SOAP, cuyas secciones Objetivo y Análisis van legítimamente más allá de los imprescindibles indicados.

Composición del jurado

Modelos independientes de varios proveedores, para que sus modos de fallo no estén correlacionados. El banco de pruebas no depende de ningún proveedor: cualquier modelo disponible a través de un adaptador compatible puede formar parte del panel, y el panel crece con el tiempo a medida que se añaden adaptadores. El patrón está publicado como Replacing Judges with Juries (Verga et al., 2024, Cohere); lo usamos porque contrastar entre modelos independientes funciona mejor en contextos de seguridad clínica que confiar en un solo modelo.

Advertencia sobre el mismo proveedor. Gemini puede formar parte del jurado, pero el sistema de generación de documentos en producción también usa Gemini, y que un proveedor juzgue su propio trabajo puede producir puntos ciegos correlacionados: una invención producida por Gemini como generador puede tener más probabilidades de parecerle verosímil a Gemini como juez. La mitigación es operativa: los veredictos de Gemini se informan por separado del veredicto del panel de varios proveedores, de modo que quien lee ve lo que habría dicho Gemini solo frente a lo que dijo el panel de varios proveedores. Cuando el panel es N=1 y ese único jurado es Gemini (p. ej., en las primeras ejecuciones de desarrollo), el informe de validación lo indica expresamente para que no se sobrevaloren esas cifras.

Regla de decisión (según el tamaño del panel)

Los informes incluyen la tasa de acuerdo del jurado por grabación: la proporción de llamadas en las que el jurado fue unánime (cuando N ≥ 2). Una unanimidad alta indica que predominan los casos claros; una tasa alta de divisiones indica que la metodología está trabajando en la zona difícil. Ambas son información útil para los evaluadores, no defectos que haya que ocultar.

Repetir y votar por jurado

Cada jurado se llama R veces con temperatura 0 (por defecto R = 3, configurable en cada ejecución); el voto del jurado es la mayoría de sus propias R respuestas. Esto elimina el 5–10% de las llamadas en las que un jurado da una respuesta poco fiable. El coste es N × R llamadas por valoración; los modelos usados son baratos en comparación con el sistema de generación, y reducir la variabilidad es precisamente el objetivo. Se baja R para iterar rápido durante el desarrollo; se sube R para cifras publicadas con más confianza.

Calibración y acuerdo entre evaluadores

• Comprobación de calibración (por versión del banco de pruebas). Se pasa por el jurado una nota hecha a mano claramente buena y otra claramente mala. El jurado debe puntuarlas correctamente; si no lo hace, la metodología falla antes de cualquier evaluación real y el banco de pruebas se detiene para investigarlo.
• Acuerdo entre evaluadores frente a personas (por informe). La responsable clínica califica de forma independiente un subconjunto del 20% de las grabaciones. Se calcula la κ de Cohen entre los veredictos del jurado y los del experto clínico en ese subconjunto, y se publica en el informe de validación.

La κ de Cohen no es una métrica de impresiones: controla el acuerdo por azar. Incluirla convierte el jurado de “confía en los LLM” a “los LLM se midieron frente a un profesional sanitario en cada informe”.

Capa C: deriva semántica prevista

Una métrica puente entre la WER bruta (por token) y el jurado de LLM (de contenido clínico). Tanto la transcripción de referencia como la documentación generada se convierten en embeddings con un mismo modelo; la similitud del coseno da una puntuación de deriva por grabación. Mide la fidelidad de la reestructuración: la documentación debe abstraer a partir de la fuente, pero conservando el significado clínico. Es útil como métrica continua y barata sin anotar cada grabación, y es fácil seguir su evolución en el tiempo. Los valores atípicos (deriva > N σ respecto a la media) se marcan para revisión humana. Está en la hoja de ruta; no forma parte de las cifras publicadas de v1.

Repetibilidad

Un sistema puede ser preciso de media pero inconsistente: que el mismo audio produzca una documentación distinta cada vez es un problema de seguridad clínica, no una curiosidad. Un subconjunto de grabaciones del corpus se procesa N veces en cada ejecución de CI (3 por defecto). Todas las capas de evaluación se ejecutan en cada repetición; la variabilidad entre repeticiones es la puntuación de repetibilidad, que se publica junto a las cifras principales de precisión.

Frecuencia de los informes

Reproducibilidad

• Todo versionado. El audio + las transcripciones + las listas de datos + las instrucciones del jurado + las versiones de los modelos evaluadores están todos en el repositorio. El banco de pruebas se puede volver a ejecutar desde el estado del repositorio en cualquier commit.
• Publicación con un solo script. Una nueva ejecución del banco de pruebas se publica de principio a fin con un script (./publish.sh desde el directorio de transparencia). Copia el aggregate.json del banco de pruebas en el archivo de datos de la página y sincroniza con rsync los archivos de audio para reproducirlos en el navegador. Sin paso de compilación, sin framework, sin capa editorial.
• Abierto bajo NDA, y después de código abierto. El código del banco de pruebas está abierto a HNZ bajo NDA durante la diligencia debida técnica, con el objetivo a más largo plazo de publicarlo como código abierto (meta: 12 meses después del despliegue) para que auditores externos puedan volver a ejecutar la metodología de principio a fin.
• Corpus público cuando es posible. Los corpus v1 (sintético) y v2 (simulación de roles, cedido por los intérpretes) se pueden publicar como código abierto. Las grabaciones v3 (reales, con consentimiento) siguen siendo de acceso restringido por la sensibilidad de la información sanitaria protegida (PHI), incluso tras minimizarla; se publican las cifras agregadas por cohorte, pero no el audio ni las transcripciones sin procesar.

Metodología estadística

Aburrida pero defendible. Especificar esto de forma explícita convierte cada informe de “ejecutamos el banco de pruebas” en “ejecutamos el banco de pruebas con este método, y otros pueden reproducirlo”.

Prueba comparativa: el jurado de Claude

En octubre de 2026 pasamos las mismas 13 grabaciones del corpus por Hanah y otros seis escribas con IA (Heidi, Lyrebird, Freed, PatientNotes, CliniScripts y Preve) y publicamos cada transcripción, nota y calificación en la página de la prueba comparativa. En esa comparación, las notas las califica un jurado de Claude. Los informes de cada versión de la página de transparencia los califica el panel descrito en la capa B.

Captura

Cada escriba funcionó en su propia aplicación web en Chrome, con una cuenta estándar y la configuración por defecto. La grabación se reprodujo por la entrada de micrófono del navegador, el mismo archivo para cada escriba, y las instrucciones de cada grabación se escribieron palabra por palabra en la función de documentos o de chat del propio escriba. Cada escriba se ejecutó una vez por grabación, todos el 6 de octubre de 2026. La tasa de error de palabras se calcula a partir de la transcripción final de cada escriba exactamente igual que en la capa A.

Calificación a ciegas

Para cada grabación, los resultados de cada escriba para cada instrucción se pusieron en un mismo paquete con la transcripción de referencia y la lista de comprobación. Los resultados se barajaron bajo letras (de la A a la G) y se eliminaron del texto los nombres de los productos. Claude, el modelo de Anthropic, calificó cada paquete solo frente a la transcripción de referencia. La clave que relaciona letras y productos se abrió después de calificar las 13 grabaciones.

La rúbrica

Reglas de consistencia

• Las grafías fonéticas de los nombres son errores de transcripción y cuentan en la tasa de error de palabras. Un nombre de fármaco equivocado es una alerta de alucinación grave.
• Reformular lo que se dijo con términos clínicos estándar no se señala; por ejemplo, pH 7.26 con lactato 4.3 escrito como acidosis metabólica.
• Cuando la instrucción pide una valoración, relacionar los hallazgos mencionados con los diagnósticos diferenciales que planteó el profesional sanitario no se señala.
• El contenido de cabecera que aporta el sistema no se señala: la fecha de la sesión, la etiqueta de la historia clínica del paciente y el nombre, la profesión y la clínica del profesional sanitario.
• Una intervención, un consejo, una restricción, una derivación, una prueba, una orden de seguimiento o una decisión de manejo inventados son graves. Una línea genérica como “revisión en la próxima consulta” es leve.

Transcripciones

Cada transcripción se alinea palabra por palabra con la referencia literal, y se dejan de lado las diferencias en las muletillas. Claude juzga a ciegas cada diferencia restante: un error de transcripción clínicamente significativo es el que podría inducir a error a un profesional sanitario sobre el diagnóstico, el tratamiento, el seguimiento, la seguridad o la historia clínica, como un fármaco, una dosis, un número, un lado o un síntoma equivocados, una negación o un signo de alarma perdidos, o contenido clínico omitido. La tasa de error de palabras se calcula como en la capa A, tratando como las mismas palabras las formas escritas equivalentes (22 mm y 22 milímetros, ortografía estadounidense y británica, numerales chinos y arábigos, caracteres simplificados y tradicionales). El chino se puntúa por carácter.

Configuración de idioma

Para la revisión hablada sobre todo en mandarín, cada escriba que ofrece un ajuste de idioma de entrada se configuró en mandarín: Heidi en inglés y chino (mandarín), Lyrebird y PatientNotes en chino (mandarín, simplificado). CliniScripts no produjo ninguna transcripción con chino e inglés seleccionados en dos intentos, y se usa su configuración estándar. Preve no tiene ajuste de idioma de entrada, y Freed y Hanah detectan el idioma por sí mismos. Heidi y Hanah ejecutaron esta revisión tres veces cada uno, y se promedian sus resultados de transcripción.

Puntuaciones

Los datos clínicos recogidos puntúan sí como 1, parcial como 0.5 y no como 0 sobre los puntos clínicos de la lista de comprobación de la primera instrucción de cada grabación. Las alertas de alucinación se cuentan sobre las mismas notas. La nota clínica estándar de Preve se puntúa sobre los mismos puntos clínicos, porque Preve solo sigue una instrucción personalizada después de subir un PDF de ejemplo para crear una plantilla. Los errores de transcripción significativos se cuentan por consulta. La cifra del sector es la media de los otros seis escribas. Cada veredicto y cada alerta de alucinación se publican con su motivo en la página de la prueba comparativa.

Referencias

• Verga, P. et al. (2024). Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models. Cohere. Base publicada del patrón de jurado de LLM (PoLL) que se usa en la capa B.
• Zheng, L. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Documenta las limitaciones de un único juez que aborda el patrón de jurado.
• Cohen, J. (1960). A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement. El estadístico κ que se usa para el acuerdo entre el jurado y el profesional sanitario.
• Fleiss, J. L. (1971). Measuring Nominal Scale Agreement Among Many Raters. Psychological Bulletin. Se usa para la consistencia de cada jurado.
• jiwer: biblioteca de Python de código abierto para la WER y métricas relacionadas; con la versión fijada en el archivo de bloqueo del banco de pruebas.