La tecnología sanitaria con IA debería ser transparente. La mayoría no lo es.

Puntos clave

• Una afirmación sobre precisión solo es útil cuando se pueden examinar el método de puntuación y los errores que hay detrás.
• Esta evaluación histórica registró tres errores en 106 pruebas; es una instantánea de esa ejecución.
• La IA clínica necesita informar con honestidad tanto de los fallos como de las mejoras, y los profesionales sanitarios siguen teniendo que revisar lo que produce.

La tecnología sanitaria con IA debería ser transparente. La mayoría no lo es.

Así que aquí va algo que la mayoría de las empresas en nuestra situación nunca pondrían por escrito: Hanah no supera nuestras propias pruebas internas con una precisión perfecta. En nuestra última evaluación, en 106 pruebas, cometió 3 errores. Me duele publicarlo, y precisamente por eso lo publico.

Todos los instintos que el manual tradicional del software inculca a un fundador le dicen que entierre esa cifra. Y si enterrarla parece demasiado deshonesto, siempre queda la opción más suave: maquillarla. Relajas la forma de puntuar. Eliges un conjunto de casos de prueba más amable. Escoges la métrica de precisión que te favorece, normalizas para hacer desaparecer los errores que cuentan en tu contra y retocas discretamente las transcripciones de referencia hasta que la diferencia desaparece. Hay una docena de maneras de apariencia respetable de convertir un 97% real en un 100% de marketing. Las conocemos todas, y precisamente por eso nos negamos a usar ninguna.

Una cifra que no se puede reproducir no es una prueba comparativa

Es marketing con bata de laboratorio. En cuanto nos permitiéramos ajustar discretamente la puntuación hasta que el resultado quedara bien, la prueba comparativa dejaría de medir el producto y empezaría a medir nuestras ganas de halagarnos. Eso no le sirve de nada a un profesional sanitario que decide si confiar en la herramienta delante de un paciente.

Así que nos mantenemos firmes en la dirección contraria. Nuestra tasa de error de palabras se puntúa de forma estricta y transparente, sobre un corpus versionado, con todo el método expuesto en nuestra página de la prueba comparativa para Australia: léela y revisa nuestros cálculos. No editamos a mano las transcripciones para bajarla ni recurrimos a una normalización indulgente para que una mala semana parezca buena. Cuando la cifra cambia, cambia porque el producto ha cambiado de verdad, para bien o para mal, y podemos explicar por qué.

La tecnología sanitaria no es software de productividad

Esta distinción importa aquí más que casi en ningún otro sitio, porque el precio de equivocarse no es simétrico.

Hanah no es una app de gestión de proyectos, donde un mal autocompletado le cuesta a alguien unos segundos. Ni siquiera es una plataforma de gobernanza o cumplimiento normativo (la categoría GRC al estilo de Delve, cuyo único trabajo es inspirar confianza), donde lo peor que puede pasar es una auditoría fallida y un trimestre incómodo. Esto es una historia clínica. Está entre un profesional sanitario y un paciente, justo en el punto en que un error silencioso puede trasladarse a una decisión sobre la atención de alguien.

“Fíngelo hasta que lo consigas” es un lema perfectamente válido para una app de compartir fotos. En la tecnología sanitaria es negligencia disfrazada de ambición. Lo que está en juego no perdona la bravuconería.

Cómo es de verdad rendir cuentas

No es un eslogan en una página de precios. Para nosotros significa unos cuantos compromisos concretos e incómodos:

• Nos medimos con una prueba comparativa fija y estricta y publicamos la metodología completa, para que la cifra se pueda comprobar en lugar de aceptarla con fe.
• Un profesional sanitario revisa y valida cada resultado antes de que llegue a una historia clínica: la persona es la última barrera, por diseño, no como algo secundario.
• Cuando nos equivocamos en algo, preferimos decirte dónde antes que dejar que lo descubras tú. Esos 3 errores no son una nota a pie de página que esperamos que te saltes. Son lo esencial.

Preferimos enseñarte un 97% honesto que venderte un 100% inventado.

La verdad incómoda es que la transparencia radical es una desventaja competitiva justo hasta el momento en que se convierte en lo único en lo que alguien confía. En un sector en el que todo el mundo dice ser preciso y nadie enseña sus cálculos, ser la empresa que los enseña no es un enfoque de marketing. Es el producto.

Creemos que el resto del sector debería medirse de la misma forma: abiertamente, de forma reproducible e incluyendo las veces en que se queda corto. Estamos encantados de ser los primeros.

Preguntas frecuentes

¿Este artículo recoge la prueba comparativa más reciente?

Describe la evaluación publicada junto con este artículo. Para ejecuciones más recientes y sus métodos, consulta los informes de precisión actuales.

¿Por qué publicar los errores además de una cifra de precisión?

Un porcentaje destacado oculta lo que salió mal. Publicar el método y los fallos permite a los lectores valorar el significado y los límites del resultado.

¿Una buena prueba comparativa elimina la necesidad de revisar las notas?

No. Una prueba comparativa es una muestra del rendimiento, y la IA todavía puede omitir o inventar información. El profesional sanitario debe revisar cada borrador.