在严格的行业基准测试中,Hanah 被评为最佳 AI 病历助手
要点
- 文中引用的评估在相同的 12 段录音上对比了六款 AI 病历助手,评分时隐藏了各份病历所属的产品。
- 除 AI 病历助手外,Hanah 还提供居家训练计划和带诊所品牌的患者端应用。患者可以在两次就诊之间查看双方商定的居家计划。
- 在该评估中,Hanah 在报告的 19 项指标中有 18 项排名第一;本文也报告了它没有领先的那项指标。
- 这些结果描述的是文中引用的那次测试。请查看录音、输出和评分方法,并审阅每一份临床草稿。
ScribeStandard 在相同的 12 段诊疗录音上,将 Hanah 与 Heidi、Lyrebird、Freed、CliniScripts 和 PatientNotes 进行对比测试,并对照同一份临床事实清单对每份病历进行盲评。Hanah 在 19 项指标中有 18 项排名第一。阅读完整报告:Hanah 是最佳 AI 病历助手。
测试方法
每款 AI 病历助手听到的是同样的音频。每次诊疗都有一份清单,列出关于患者病情、症状和体征所说的每一项事实,12 次诊疗共 358 项事实。病历每遗漏一项事实或只部分涵盖一项事实,以及每出现一项诊疗内容不支持的陈述,都会计一个错误。错误的计算方式与 Weiner 等人(2020)统计医生自己所写病历中错误的方式相同,每款产品在每次诊疗上都至少运行了五次。
结果
| AI 病历助手 | 每份病历的错误数 | 已涵盖的事实 | 每份病历的幻觉标记 | 病历可确认定稿所需时间 |
|---|---|---|---|---|
| Hanah | 4.1 | 93% | 0.80 | 2 分 23 秒 |
| Freed | 8.3 | 87% | 2.47 | 4 分 40 秒 |
| Heidi | 9.0 | 81% | 1.00 | 3 分 25 秒 |
| CliniScripts | 9.7 | 80% | 1.40 | 4 分 03 秒 |
| Lyrebird | 11.6 | 82% | 3.42 | 4 分 06 秒 |
| PatientNotes | 18.0 | 61% | 2.58 | 5 分 39 秒 |
Weiner 等人发现,对照就诊录音核查时,医生所写病历平均每份有 5.0 个错误。ScribeStandard 测试的计数比他们更严格,而 Hanah 是唯一低于这一数字的 AI 病历助手。
审阅并修改一份 Hanah 病历用时 2 分 2 秒。自己撰写病历的中位用时为 8.1 分钟(Apathy 等人,2023),也就是说,完成一份 Hanah 病历比手写快 75%。紧随其后的是 Heidi,为 63%。
Hanah 的词错误率也最低,为 12.8%;改变临床含义的听错词最少;按下停止后,中位 19 秒即可生成病历;每次诊疗的数据量也最少,为 9.1 MB。
Hanah 唯一没有领先的指标
在一项 50 分钟的压力测试中,所有 AI 病历助手在同一台机器上同时录音,CliniScripts 占用的内存更少,为 972 MB,而 Hanah 为 1,103 MB。
Hanah 无需任何修改即可确认定稿的病历比例也最高,为 8%。每款产品的每份病历在写入病历档案之前仍需要您审阅,而 Hanah 的草稿会等待您审阅。
每一项评分均已公开
ScribeStandard 公开了录音、转录稿、每款产品的病历以及每项评分背后的理由。您可以收听诊疗录音,阅读每款产品起草的内容,并逐行核查评分。阅读完整结果和测试方法。
然后自己测试一下。在您自己的诊疗中免费试用 Hanah 一个月,无需信用卡。
常见问题
这次评估包含多少次诊疗?
本文引用的评估使用了 12 段诊疗录音,涉及六款 AI 病历助手。其他基准测试文章可能描述的是不同的运行或样本量。
Hanah 在报告的每项指标上都领先吗?
不是。本文报告 Hanah 在 19 项指标中有 18 项排名第一,并指出内存占用是由另一款产品领先的指标。
我可以查看证据吗?
本文附有结果和测评方法的链接,包括录音、输出以及各项评分背后的理由。请将这些内容与核心结果一起阅读。
本文引用的来源
- Hanah 是最佳 AI 病历助手 —— scribestandard.com
- 测试方法 —— scribestandard.com
更新说明:在要点中突出介绍了居家训练计划和带诊所品牌的患者端应用。来源核查和基准测试日期仍以文中所述为准。