---
title: "有哪些变化｜Hanah 验证（澳大利亚）"
description: "Hanah 的准确率基准测试在上一次发布的运行与本次运行之间有何变化，以及导致这些变化的具体原因。"
source: https://hanah.health/zh/au/trust/comparison/
---

验证透明度

# 有哪些变化。

在同一语料库、同一区域中，我们上一次发布的基准测试与今天发布的这次对比。两份报告均完整保留，下方数字均根据报告计算得出，而非手动输入。

**评分小组也有变化。**我们之前的运行由一对规模更小、成本更低的评审模型评分。我们发现它们会犯一些本可避免的错误，例如数错句子、误读文档结构，因此本次运行改由更强的模型评分。我们有意_没有_按新标准重新评分旧的运行。旧的数字保持当天测量时的原样。这意味着下方覆盖率的部分变化反映的是评分更准确，而非产品更好；与其悄悄改写历史，我们宁愿直说。

## 我们改了什么

-   **录音流程。**修复了语音活动门控问题，以及一个会悄悄丢掉较长录音结尾部分的解码器延迟问题。词错误率的改善大部分来自这里。
-   **标准参照。**对于参考转录稿与音频在书写形式上（而非用词上）不一致的地方，我们做了更正，例如说出的数字被写成文字、地区拼写差异、单位简写。真正的听错则保留原样，因为这正是基准测试要衡量的。
-   **录音后纠错。**现在会进行第二轮处理，在撰写病历之前重新听取音频并修复转录错误。此前，这一步在大多数录音上都悄无声息地失败了。
-   **病历生成模型。**更新为较新的模型，并且通过测量而非假设来确认效果。它减少了编造内容；但对转录准确率没有明显影响，因为转录并不是由它完成的。

## 我们为何公开这些

模型提供商会在不发布公告的情况下更改 API 背后的模型，而厂商声称升级“会更好”并不能作为证据。我们按区域运行自己的基准测试，采用与临床医生相同的浏览器路径，并公布当天看到的结果。如果未来某次运行出现退步，我们同样会公布：要么我们能解释原因，要么我们发现了需要修复的问题。