验证透明度
有哪些变化。
在同一语料库、同一区域中，我们上一次发布的基准测试与今天发布的这次对比。两份报告均完整保留，下方数字均根据报告计算得出，而非手动输入。
评分小组也有变化。我们之前的运行由一对规模更小、成本更低的评审模型评分。我们发现它们会犯一些本可避免的错误，例如数错句子、误读文档结构，因此本次运行改由更强的模型评分。我们有意没有按新标准重新评分旧的运行。旧的数字保持当天测量时的原样。这意味着下方覆盖率的部分变化反映的是评分更准确，而非产品更好；与其悄悄改写历史，我们宁愿直说。
我们改了什么
- 录音流程。修复了语音活动门控问题，以及一个会悄悄丢掉较长录音结尾部分的解码器延迟问题。词错误率的改善大部分来自这里。
- 标准参照。对于参考转录稿与音频在书写形式上（而非用词上）不一致的地方，我们做了更正，例如说出的数字被写成文字、地区拼写差异、单位简写。真正的听错则保留原样，因为这正是基准测试要衡量的。
- 录音后纠错。现在会进行第二轮处理，在撰写病历之前重新听取音频并修复转录错误。此前，这一步在大多数录音上都悄无声息地失败了。
- 病历生成模型。更新为较新的模型，并且通过测量而非假设来确认效果。它减少了编造内容；但对转录准确率没有明显影响，因为转录并不是由它完成的。
我们为何公开这些
模型提供商会在不发布公告的情况下更改 API 背后的模型，而厂商声称升级“会更好”并不能作为证据。我们按区域运行自己的基准测试，采用与临床医生相同的浏览器路径，并公布当天看到的结果。如果未来某次运行出现退步，我们同样会公布：要么我们能解释原因，要么我们发现了需要修复的问题。