Prueba comparativa de escribas con IA: Hanah y otros siete escribas con IA

Resultados

Los escribas aparecen ordenados por la proporción de datos clínicos obligatorios que recogieron sus notas. Se puntúa la nota de cada escriba para la primera instrucción de cada grabación.

* Preve se puntuó con su nota clínica estándar, porque solo sigue una instrucción personalizada después de subir un PDF de muestra para crear una plantilla. Preve no genera una nota con menos de 600 caracteres de transcripción, y sus tres grabaciones más cortas no tienen nota.

† Freed siguió grabando después de pulsar Stop en la grabación más corta y no produjo ni transcripción ni nota, en dos intentos. Freed se puntúa con las otras 12.

Un error de transcripción significativo es aquel que un evaluador ciego consideró que podía inducir a error a un profesional sanitario: un fármaco, una dosis, un número, un lado o un síntoma equivocados, una negación o un signo de alarma perdidos, o contenido clínico omitido. La tasa de error de palabras cuenta todas las palabras igual, muletillas incluidas.

La revisión de cirugía mandibular se habló sobre todo en mandarín. Cada escriba la procesó con el idioma de entrada configurado en mandarín cuando ofrece esa opción. Heidi cometió menos errores de transcripción significativos en ella (2), seguida de Hanah (5) y CliniScripts (6). Freed cometió 10, PatientNotes 12, Lyrebird 14, y Arlo y Preve 18 cada uno. Arlo y Preve no tienen opción de idioma de entrada, y Freed detecta el idioma por sí solo.

Por consulta

Datos clínicos recogidos, con el número de alertas de alucinación grave debajo. Selecciona una consulta para leer cada nota y su evaluación.

Todas las notas, transcripciones y evaluaciones

Elige una consulta y un escriba. Puedes reproducir la grabación, leer la transcripción de referencia y ver cada veredicto de la lista de comprobación y cada alerta de alucinación con el motivo que se dio.

Cómo se realizó

Las grabaciones

Las 13 grabaciones son el corpus de precisión de Hanah, el mismo conjunto en el que se basan los resultados de cada versión de nuestra página de transparencia. Incluyen un dictado de traspaso de pacientes en la UCI con y sin ruido de planta, consultas de fisioterapia, dietética, terapia ocupacional, mioterapia y enfermería comunitaria, un niño con asma cuyo padre o madre habla poco inglés, una caída de quad grabada al aire libre, una sesión de mioterapia de 50 minutos con unos siete minutos de habla en una sala de tratamiento ruidosa, y una revisión de cirugía mandibular hablada sobre todo en mandarín. Cada una tiene una transcripción de referencia literal y una lista de comprobación de los datos que debe recoger una nota.

Captura

Cada escriba se ejecutó en su propia app web en Chrome, con sesión iniciada en una cuenta estándar. La grabación se reprodujo por la entrada de micrófono del navegador, el mismo archivo para todos los escribas. Después de grabar, las instrucciones de cada grabación se escribieron palabra por palabra en la función de documentos o de chat del propio escriba, por ejemplo “Generate SOAP notes please” y “Summarise this consult in two sentences for a referral letter”. Cada escriba se ejecutó una vez por grabación el 6 de octubre de 2026, y Arlo el 20 de octubre de 2026, con el inglés como idioma de entrada cuando el escriba lo pide. Para la revisión en mandarín, los escribas con opción de idioma de entrada se configuraron en mandarín: Heidi en English and Chinese (Mandarin), Lyrebird y PatientNotes en Chinese (Mandarin, Simplified). CliniScripts no produjo transcripción con chino e inglés seleccionados en dos intentos, así que se usa su configuración estándar. Arlo no tiene opción de idioma de entrada. Arlo crea los documentos a partir de plantillas guardadas en lugar de un cuadro de texto libre, así que cada instrucción se escribió palabra por palabra en el generador de plantillas del propio Arlo y se usó la plantilla que creó sin editarla.

Evaluación por un jurado de Claude

Las notas las evaluó Claude, el modelo de Anthropic. Para cada grabación, la salida de cada escriba se barajó detrás de una letra, sin nombres de producto, y se evaluó frente a la transcripción de referencia con una rúbrica fija. Cada punto de la lista de comprobación se marca como sí, parcial o no. Cada afirmación que la transcripción no respalda se anota como alerta de alucinación: grave cuando podría cambiar la atención o falsear el cuadro clínico (un síntoma, hallazgo, fármaco, diagnóstico o plan inventados, o un lado o nombre de fármaco equivocados), leve en los demás casos. El 20 de octubre de 2026, al añadir Arlo, las notas y transcripciones de todos los escribas se volvieron a evaluar juntas en los mismos paquetes ciegos, así que los ocho los puntúa el mismo evaluador. Las evaluaciones solo se desanonimizaron después de evaluar todas las grabaciones. La rúbrica completa está en nuestra metodología.

Errores de transcripción

Cada transcripción se alineó palabra por palabra con la referencia literal. Las diferencias en muletillas se dejaron aparte, y Claude juzgó a ciegas cada diferencia restante, con la regla anterior sobre qué hace significativo un error de transcripción. La tasa de error de palabras se calcula por código con la misma normalización estricta que nuestros informes de versión, tratando como las mismas palabras las formas escritas equivalentes: 22 mm y 22 milímetros, la ortografía estadounidense y británica, los números chinos y arábigos, y los caracteres simplificados y tradicionales. El chino se puntúa por carácter.