AI 医疗科技应当透明。但大多数并不透明。

要点

• 只有当评分方法及其背后的错误可以被检查时，准确率声明才有用。
• 这次历史评估报告了 106 项测试中的 3 个错误；它是那次运行的快照。
• 临床 AI 既需要如实报告改进，也需要如实报告失败，临床医生也仍需审阅其输出。

AI 医疗科技应当透明。但大多数并不透明。

所以，这里有一件处在我们位置的大多数公司绝不会白纸黑字写下来的事：Hanah 在我们自己的内部基准测试中并非完全准确。在最近一次评估运行中，106 项测试里它出了 3 个错误。公布这一点让我很难受，而这正是我要公布它的原因。

传统软件行业的那套打法灌输给创始人的每一种本能，都在说要把这个数字藏起来。如果藏起来显得太不诚实，总还有一个更温和的选择：美化它。放宽评分方式。挑一组更友好的测试用例。选一个对自己有利的准确率指标，把对自己不利的错误通过规范化抹掉，再悄悄整理参考转录稿，直到差距消失。有十几种看似体面的方法，可以把真实的 97% 变成宣传中的 100%。这些方法我们全都知道，也正因为如此，我们拒绝使用其中任何一种。

无法复现的数字不是基准测试

那是披着白大褂的营销。一旦我们允许自己悄悄调整评分，直到结果好看为止，基准测试就不再衡量产品，而开始衡量我们自我吹捧的意愿。对于一位要决定是否在患者面前信任这款工具的临床医生来说，这毫无价值。

所以我们反其道而行之，守住底线。我们的词错误率严格、透明地评分，基于有版本控制的语料库，完整的方法都列在我们的澳大利亚基准测试页面上，欢迎阅读并核查我们的计算过程。我们不会为了降低数字而手动编辑转录稿，也不会借助宽松的规范化，让糟糕的一周看起来像不错的一周。数字变化，是因为产品确实变了，无论变好还是变坏，而且我们能指出原因。

医疗科技不是效率软件

这一区别在这里比几乎任何其他地方都更重要，因为犯错的代价并不对等。

Hanah 不是项目管理应用，在那里一次糟糕的自动补全只会让人损失几秒钟。它甚至不是治理或合规平台，也就是 Delve 那类以“值得信任”为全部使命的 GRC 产品，在那里最坏的情况不过是审计失败和一个难熬的季度。这是临床病历。它处在临床医生和患者之间，恰恰位于一个不起眼的错误可能蔓延成关乎某人诊疗的决定的那个节点上。

“先装再说，装着装着就成了”，对照片分享应用来说是句不错的座右铭。在医疗科技领域，它是打扮成雄心的失职。这里的风险容不得逞强。

问责究竟是什么样子

它不是价格页面上的一句口号。对我们来说，它意味着几项具体而让人不舒服的承诺：

• 我们以一个固定、严格的基准衡量自己，并公开完整的测评方法，让数字可以被核查，而不是只能凭信任接受。
• 每一份输出在写入病历之前，都由临床医生审阅并签核。人是最后一道防线，这是有意的设计，而不是事后补救。
• 当我们出错时，我们宁愿告诉您错在哪里，而不是让您自己发现。那 3 个错误不是我们希望您跳过的脚注。它们恰恰是重点。

我们宁愿给您看真实的 97%，也不愿卖给您编造的 100%。

令人不舒服的事实是：彻底的透明是一种竞争劣势，直到某一刻它成为大家唯一信任的东西。在一个人人都声称自己准确、却没人展示计算过程的领域，做那家展示计算过程的公司，并不是一种营销角度。它就是产品本身。

我们认为，行业里的其他产品也应该以同样的方式接受衡量：公开、可复现，并且包括表现不佳的时候。我们乐意先迈出这一步。

常见问题

本文报告的是最新的基准测试吗？

本文描述的是与本文一同发布的那次评估。较新的运行及其方法，请参阅当前的准确率报告。

为什么除了准确率数字，还要公布错误？

一个笼统的百分比会掩盖出错的地方。公开方法和失败案例，读者才能评估结果的意义和局限。

基准测试成绩好，就不需要审阅病历了吗？

不是。基准测试只是表现的一个样本，AI 仍然可能遗漏或编造信息。临床医生应检查每一份草稿。