在诊所部署 AI:签约前要问的六个问题
要点
- 询问每位临床医生的完整费用,包括集成、模板及其他必需功能。
- 根据实际的子处理方信息和合同条款,核实音频、转录稿和记录在哪里处理。
- 检查准确率的测评方法,并把遗漏的信息和编造的信息分开看待。
- 在做出决定前,用您自己的工作流程测试多语言诊疗和网络中断的情况。
每一款 AI 病历助手的演示看起来都一样。
差别要到之后才显现:多语言对话、说话人区分、软件集成这类基础功能的隐性收费、数据透明度,以及当上门就诊刚开始就没了信号、或诊所 Wi-Fi 断网时的离线录音。
Hanah 为真实世界而打造。下面这些问题,我们认为您应该拿去问市面上每一款 AI 病历助手(AI scribe),我们自己的答案也一并写在这里。
1. 开通所需全部功能后,每位临床医生的真实价格是多少?
定价页面上的标价,很少就是诊所实际支付的金额,因为让产品真正可用的部分往往单独收费。最需要留意的是与诊所管理系统的连接。无法把病历归档到诊所管理系统的 AI 病历助手,只是多开一个标签页、多养成一个复制粘贴的习惯。所以,如果集成功能要升级到更高套餐或作为附加项另购,宣传的价格从来就不是真实价格。
请仔细查看定价页面,确认您获得了真正改善工作流程所需的一切;否则,您只是把文书工作换成了在浏览器标签页之间来回切换。
我们认为,对诊所管理系统集成这类基础功能额外加价是不道德的。我们的价格包含免费的基础版,提供患者门户、运动处方和结局指标,无需信用卡。诊所版为每位从业者每月 $100(澳元),按年计费为 $80,并提供 1 个月免费试用;该套餐包含 AI 病历助手、文档生成,以及与 Cliniko、Halaxy、Nookal 和 Zanda 的浏览器扩展和 API 集成。
2. 数据究竟流向哪里?全部数据都算在内。
“数据主权”通常被包装成地图上的一面旗帜,但一面旗帜并不是答案。环境式 AI 产品是由一连串公司组成的链条:应用本身、数据库、对象存储、备份、语音转文字引擎、语言模型、邮件发送服务,以及位于这一切之前的边缘网络。
请索取信任中心信息、每一个子处理方(软件所依赖的第三方)、它的用途、哪些类别的数据会到达它,以及它在哪个国家处理数据。然后再问第二个问题,它能把谨慎的供应商和过度自信的供应商区分开来:链条中哪一环会离开本国?对此采取了什么措施?几乎每条链都有这样一环。如果供应商的回答是干脆的“一切都留在境内”,就值得追问。
Hanah 的每个区域,即澳大利亚、英国和美国,都运行在各自的服务器上,拥有各自的数据库、对象存储和备份。记录从不跨区域汇集。每个区域都在各自的信任中心公布自己的子处理方列表,因为各区域的答案确实不同。
下面是我们那尴尬的一环,我们把它公布在自己的信任页面上,而不是留给您在安全审查中自己发现:在澳大利亚部署中,流式语音转文字在美国处理。音频是临时性的,生成转录稿后即不再保留,我们的条款禁止用其训练模型,生成的转录稿存储在澳大利亚。但根据澳大利亚隐私原则第 8 条,这仍属于跨境披露,您的隐私影响评估需要写明这一点。我们宁愿您在某个普通的周二从我们这里读到这件事,也不愿您在签约前一周从尽职调查问卷中才得知。
向每一家供应商索取子处理方列表。能随时拿出来的,才是认真考虑过这件事的。
3. 您能复现他们的准确率说法吗?
这个市场上人人都说自己准确。几乎没有人公布一个您能核实的数字,而无法复现的数字只是披着白大褂的营销,我们 7 月曾就此写过一篇文章。
满意度统计不是准确率测量。“97% 的用户认为病历质量优秀”说明的是一次问卷调查的结果,而不是转录稿出错的频率。当供应商向您报出一个百分比时,请问四件事:基于什么语料库测量、用什么方法评分、由谁评分,以及上一次的结果在哪里。
最后一点最重要。任何供应商都能公布一个好的季度。把不好的那次结果也并列公布,才让数字有意义。我们的测评方法、当前结果(每一份转录稿、每一份生成的病历、每位评分者的推理过程)以及历次结果全部公开,完全保留测量当天的原样。
4. 他们的模型宁愿犯哪一类错误?
这是几乎没有人会问的问题,而在临床记录中,它恰恰最重要。
AI 病历出错有两种方式:漏掉说过的内容,或写出从未说过的内容。两者都是错误,但不是同一种错误。遗漏的细节是看得见的,临床医生对照自己对诊疗的记忆审阅草稿时就能发现。编造的细节,比如左右侧别、剂量、一次从未发生过的症状否认,读起来完全合理,而这正是它在病历签署并留存在记录中之后变得危险的原因。
因此,每一轮评分我们都同时测量两者:对照逐字记录的标准参照转录稿计算词错误率,再由一组语言模型对生成的病历从两方面评分,即覆盖率(是否记录了事先登记的每一项事实?)和幻觉(AI 编造内容,即是否包含转录稿不支持的说法?)。
同时测量两者,就迫使您在两者之间做出取舍,而我们已经做了选择。我们 7 月更换模型时,把编造细节放在首位,而新模型在两方面都有所改进:词错误率从 5.9% 降至 1.6%,经确认的编造细节从 5 处减至 1 处,记录到的临床事实从 91.5% 升至 94.7%。在临床场景中,完整性不应以准确性为代价。模型漏掉的细节,临床医生可以补上;模型编造的细节,他们却无法可靠地“忘掉”。
问问您的供应商,他们在这一取舍上做了什么选择,以及他们是否测量过。
5. 诊疗不是用英语进行时会怎样?
澳大利亚和英国的诊所是多语言的,而它们使用的软件大多不是。在我们自己的基准测试语料库中,有两段录音分别是社区护士探访一个说越南语的家庭,以及职业治疗师探访一个说印地语的家庭。这不是为了让数字好看,而是因为一个只有自信的英语使用者在安静房间里说话的语料库,无法告诉我们北部郊区一个普通周二的真实情况。
这里有三件重要的事,而且它们彼此独立。
- 诊疗。Hanah 会自动识别所说的语言,而不需要事先指定,因此即使一次就诊在一句话中途切换语言,也能顺畅处理,而不是与之对抗。这是我们吃过亏才学到的:早期版本带有一份固定的预期语言列表,它在每个区域、每次就诊中都悄悄造成了偏差,并且在一句带口音的英语上,生成了一句幻觉出来的阿拉伯语开头。我们移除了这些提示。单靠自动检测,好过对所有人套用同一个猜测。
- 记录。临床病历用英语书写,因为那是记录的语言,也是您所属的专业学会和保险公司期望的医疗法律文件。
- 患者的副本。这一部分才会改变疗效。患者可以设置偏好语言(共 38 种),其护理计划和文档会翻译成该语言。原文永远不会被改动;系统会另外生成一份翻译副本,并在临床医生每次编辑计划时自动保持同步,因此患者在家阅读的版本永远不会悄悄偏离临床医生所写的版本。临床医生还可以在主页上列出自己会说的语言,让诊所能把患者匹配给一个人,而不只是一份翻译。
既然这是一篇关于提出尖锐问题的文章,也说一个我们有意留下的空缺:Auslan(澳大利亚手语)和 BSL(英国手语)出现在临床医生的语言列表中,但不在患者翻译功能的范围内,因为文本翻译无法服务手语,假装可以比直说更糟。
6. 诊疗中途 Wi-Fi 断了会怎样?
每一场 AI 病历助手的演示都在良好的 Wi-Fi 下进行。真实的诊所工作包括地下室、上门就诊、乡村诊所、医院走廊,以及后面那间信号从来没好过的治疗室。如果对这个问题的回答只是耸耸肩,那这个产品只是一个演示品。
大家想象中的故障是一个转个不停的加载图标。真正让您付出代价的故障却悄无声息:录音看起来正常,临床医生接着看下一位患者,而音频已经没了。已经发生过的诊疗,无法再找回来。
Hanah 的设计正好相反。每段录音在录制过程中都会写入设备的本地存储,采用无损压缩,而且不只在断网时这样做,而是始终如此,因此本地副本在需要之前就已存在。网络正常时,各个片段实时转录,并在结束时上传。网络中断时,录音照常继续写入本地存储,断网期间录下的片段会被标记为待补传。
网络恢复后,这些片段会上传并转录,转录稿随之补全。上传会以逐渐拉长的间隔重试,并且永不放弃,因为凭猜测丢弃音频是唯一无法挽回的结果。如果标签页崩溃,或浏览器在诊疗中途被关闭,下一次会话会找到这段遗留的录音并将其恢复,而不是把它当作残留垃圾。在我们自己的测试中,一次 50 分钟、全程经历完整断网的诊疗录音,在临床医生按下停止后 13 秒,全部 80 个音频块就已上传并完成转录。
请您正在评估的每一家供应商在飞行模式下录一次诊疗,然后给您看生成的病历。这个测试只需两分钟,而且很难作假。
简要版
| 要问的问题 | 好的回答是什么样的 |
|---|---|
| 开通全部功能后的价格 | 每位临床医生一个价格,包含诊所管理系统连接,集成功能不另列附加项 |
| 子处理方列表 | 一张表格:是谁、用于什么、涉及哪些数据、在哪个国家,包括离开本国的环节 |
| 准确率说法 | 公开的测评方法、注明的语料库,以及与本次并列可见的上一次结果 |
| 遗漏与编造的细节 | 两者分别测量,并明确说明在两者间的取舍 |
| 非英语诊疗 | 自动语言检测、英语记录,以及使用患者语言的患者资料 |
| 飞行模式测试 | 诊疗照常录音,信号恢复时病历随之生成 |
这些问题没有一个是不公平的。把它们拿去问您候选名单上的每一家供应商,用具体事实回答的,比用形容词回答的更值得重视。然后,在做出决定之前,用真实诊疗做一次真实试用。
如果您想更详细地探讨我们的答案,或者您认为其中某一条是错的,请写信给我:hello@hanah.health。
常见问题
AI 病历助手试用应该包括哪些内容?
使用您日常文书工作中的真实案例,包括音质较差的录音、多语言诊疗和一次网络中断。既要检查草稿,也要检查把草稿录入记录系统所需的工作量。
应该如何比较准确率说法?
索取测试方法、录音或参考语料库、错误定义和结果。把遗漏和编造的细节分开比较,并检查病历需要多少修改。
只看标价就足以比较费用吗?
不够。请核实您的集成、模板、文档和使用量所需的套餐,以及任何附加项。比较完整工作流程的费用。
本文引用的来源
更新说明:新增了结构化摘要和发布元数据。本次更新不改变文中所述的来源核查或基准测试日期。