我们如何衡量准确率。

为什么这是一套测评方法，而不是两套

把 WER 数字和单独的“幻觉率”分别发布在不同页面上很有诱惑力。我们没有这样做，因为它们共享所有关键要素：相同的音频、相同的端到端运行、相同的版本化语料库、相同的发布周期，以及签核底层标准参照的同一批审阅者。拆成两个页面会让人以为是两个独立的项目，而实际上一次运行就会同时产生这两个数字，其中一项退步通常也会在另一项中体现。每条录音只在生产流程中运行一次；这一次运行产生的数据会用于下方每一个评估层。

1. 1
   录音：音频 + 逐字标准参照 + 预先登记的事实清单，在代码仓库中固定版本。
2. 2
   端到端运行：临床医生注册、创建患者、录音、生成文档。与生产环境用户的路径完全相同。
3. 3
   A 层：WER 将录得的转录稿与标准参照进行比较。
4. 4
   B 层：LLM 评审团对照事实清单为生成的文档逐项评分，每次调用评一项事实。
5. 5
   汇总与发布：由单一的 aggregate.json 生成公开的透明度页面。

语料库

一组固定且版本受控的录音，测评方法基于这些录音运行。每条录音都配有逐字转录稿，以及一份人工编写的事实清单，列出生成的病历中应当出现的临床要点（以及不得出现的要点）。

升级路线图

A 层：词错误率

机械层。词错误率是一项历史悠久的语音识别指标：统计转录内容与实际所说内容之间的替换、插入和删除次数，再除以参考文本的词数。数值越低越好；0% 表示转录稿与标准参照逐词一致。

• 程序库。jiwer，在测试框架的锁定文件中固定版本，因此可以从任何提交复现完全相同的数字。
• 规范化。转为小写、去除标点、展开常见缩写（mg → milligram 等）、Unicode NFKC。规范化规则固定版本；表面上的差异不会扣分，真正的错误才会扣分。
• 置信区间。对评分录音进行自助法重抽样：10,000 次重抽样，采用百分位数法，以固定常数作为随机种子，因此重新构建时会得到相同的区间。置信区间与核心词错误率一并公布，而不是只给出一个孤零零的点估计。在目前的语料库规模下，区间很宽，而如实说明这一点正是目的所在。
• 按队列细分。分别计算总体结果和每个语料库标签的结果，标签即每条录音被选中所要检验的条件，例如口音、语言变化和音频条件。各队列之间的差异就是偏差信号，即使绝对数字只是上限也是如此。
• 每条录音的 WER。逐条公布，这样一旦出现退步，可以追溯到具体录音，而不会被平均值掩盖。

与其他产品的比较。目前没有可以对标的基准。大多数环境 AI 病历助手厂商根本不公布词错误率；我们能找到的两家公布了这一数字，即 Nabla 的 11.8%和 Abridge 的 12.7%，但它们是在不公开的内部基准上测得的，因此这两个数字都无法复现或核查。WER 只有在相同音频、相同规范化规则下才可比较，所以我们按自己的条件呈现结果，并说明上文所述的语料库、录音和评分方法。我们欢迎其他厂商以同样的方式公布他们的数字。在此之前，把我们的数字与任何其他厂商的数字相比较都没有太大意义。

如实说明的局限性。在原始 WER 中，影响重大的替换（10mg → 100mg）与影响很小的替换（okay → OK）计数相同。这就是需要 B 层的原因：仅凭词元级 WER 无法推断临床内容是否正确。

B 层：评估覆盖率和幻觉的 LLM 评审团

定性层。由来自多家厂商的独立 LLM 评估模型组成的评审团，对照录音预先登记的事实清单，为生成的临床文档评分。两项属性分别测量，以便分别报告：

每个评审模型看到的确切提示

系统提示和用户消息模板在测试框架代码仓库（app/next/tests/accuracy/lib/juror.ts）中固定版本，并在每次刷新结果时同步到本页面。两者均在下方逐字转载，审计人员看到的正是模型被问到的原文，而非转述。重新运行和评审团组成会有所变化，但提示框架本身不变。

原子化的单问题调用

测试框架向评审团提出的每一项判断都是一项事实、一个问题、一次调用。众所周知，让模型在一次调用中为整份病历评分，往往会得出“看起来没问题”的平均化结论，个别错误会被掩盖。原子化调用也便于审计：任何人都可以重新运行单项判断，查看全部三个评审模型的回答以及评审团的判定。

什么算作幻觉

对于每份输出，评审团会拿到转录稿和生成的文档。每个评审模型逐一列出输出中转录稿不支持的、具有临床意义的陈述，即模型编造的内容。评审团的结果是各评审模型结果的并集，并按陈述文本去重。核心指标只计入已确认的标记，即被 2 个或以上评审模型标记的陈述；只有一个评审模型标记的情况会在每份输出的明细中显示为“暂定”，但不计入核心指标。两个评审模型一致的门槛，使该指标不易受单个评审模型过于严格的解读所造成的误报影响。

对于在转录稿中有依据、但不在预期清单中的内容，我们有意不标记。detailsThatMustBeCaptured 是一份必备清单，而不是“文档应包含的全部内容”的约定。把清单外每一项有依据的陈述都扣分会产生过多误报，尤其是 SOAP 类病历，其客观检查和评估部分本来就会合理地超出列明的必备项目。

评审团构成

采用来自多家厂商的独立模型，使各自的失误模式互不相关。测试框架不依赖特定提供商：任何通过受支持适配器接入的模型都可以加入评审团，评审团规模也会随着适配器的增加而扩大。该方法发表于Replacing Judges with Juries（Verga 等人，2024，Cohere）。我们采用它，是因为在临床安全场景中，多个独立模型的交叉验证比信任单一模型更可靠。

同一厂商的注意事项。Gemini 可以参与评审，但生产环境的文档生成流程同样使用 Gemini，而同一厂商的模型担任评审可能产生相关联的盲点：作为生成模型的 Gemini 编造的内容，可能更容易被作为评审模型的 Gemini 认为合理。缓解措施在操作层面：Gemini 的判定与多厂商评审团的判定分开报告，读者可以看到仅由 Gemini 评审会得出什么结果，以及多厂商评审团得出的结果。当评审团规模 N=1 且唯一的评审模型是 Gemini 时（例如早期开发运行），验证报告会明确指出这一点，以免读者过度解读这些数字。

判定规则（随评审团规模调整）

报告包含每条录音的评审一致率：评审团意见一致的调用所占比例（N ≥ 2 时）。一致率高，说明明确的案例占多数；分歧率高，说明测评方法正处于疑难区间。两者对评估者都是有用的信息，而不是需要隐藏的缺陷。

每个评审模型的重复表决

每个评审模型在温度为 0 的设置下被调用 R 次（默认 R = 3，可按每次运行配置）；该评审模型的投票取其自身 R 次回答的多数结果。这样可以消除 5–10% 的调用中单个评审模型回答不稳定的情况。每项判断的成本为 N × R 次调用；所用的模型类别相对于生成流程而言成本较低，而降低方差正是目的所在。快速开发迭代时可降低 R；需要更高置信度的公开数字时则提高 R。

校准与评分者间一致性

• 校准合理性检查（每个测试框架版本）。将一份人工编写的明显良好的病历和一份明显糟糕的病历交给评审团评分。评审团必须正确评分；如果没有做到，说明在任何真实评估运行之前测评方法就已失效，测试框架会暂停以供调查。
• 与人工评分的一致性（每份报告）。20% 的录音子集由临床负责人独立评分。在该子集上计算评审团判定与临床专家判定之间的 Cohen's κ，并在验证报告中公布。

Cohen's κ 不是凭感觉的指标，它会排除偶然一致的影响。纳入这一指标，使评审团从“相信 LLM”变成“每份报告中 LLM 都与临床医生进行了对照测量”。

C 层：语义漂移 已排期

介于原始 WER（词元级）和 LLM 评审团（临床内容级）之间的桥梁指标。参考转录稿和生成的文书使用同一个嵌入模型进行嵌入；余弦相似度给出每条录音的漂移分数。它反映重组的保真度：文书本来就要对原始内容进行提炼，但应保留临床含义。作为一项无需逐条标注的低成本连续指标很有用，也便于观察随时间的趋势。异常值（漂移超出均值 N σ）会被标记以供人工审查。已列入路线图；不包含在 v1 公布的数字中。

可重复性

一个流程可能平均而言是准确的，但前后不一致：同一段音频每次生成不同的文书，这是临床安全问题，而不是小插曲。每次 CI 运行会将部分语料库录音处理 N 次（默认 3 次）。每次重新运行都会执行所有评估层；各次重新运行之间的差异即为可重复性分数，与核心准确率数字一并报告。

报告周期

可复现性

• 一切都有版本控制。音频、转录稿、事实清单、评审提示和评审模型版本全部提交到代码仓库。测试框架可以基于任一提交时的代码仓库状态重新运行。
• 一个脚本完成发布。新的测试框架运行结果只需一个脚本（透明度目录中的 ./publish.sh）即可端到端发布。它将测试框架的 aggregate.json 复制到页面的数据文件中，并用 rsync 同步音频文件以供浏览器内播放。没有构建步骤，没有框架，也没有编辑加工。
• 先在保密协议下开放，再开源。在技术尽职调查期间，测试框架代码在保密协议下向 HNZ 开放；长期目标是将其开源（目标：部署后 12 个月），以便外部审计人员端到端地重新运行测评方法。
• 能公开的语料库就公开。v1（合成）和 v2（角色扮演，已获表演者授权发布）语料库可以开源。v3（基于知情同意的真实录音）由于 PHI 的敏感性，即使经过 PHI 最小化处理，仍保持受限；只公布按队列汇总的数字，不公开原始音频和转录稿。

统计方法

枯燥，但站得住脚。明确规定这些方法，能让每份报告从“我们运行了测试框架”变成“我们用这种方法运行了测试框架，其他人可以复现”。

对比基准测试：Claude 评审

2026年10月，我们将相同的 13 条语料库录音分别交给 Hanah 和另外六款 AI 病历助手（Heidi、Lyrebird、Freed、PatientNotes、CliniScripts 和 Preve）处理，并在基准测试页面上公布了每一份转录稿、病历和评分。该对比中的病历由 Claude 评审打分。透明度页面上的版本报告则由 B 层所述的评审团评分。

录音

每款 AI 病历助手都在 Chrome 中各自的网页应用里运行，登录标准账户并使用默认设置。录音通过浏览器的麦克风输入播放，每款产品使用同一个文件，每条录音的提示逐字输入到该产品自己的文档或对话功能中。每款产品每条录音运行一次，全部在 2026年10月6日完成。词错误率根据每款产品的最终转录稿计算，方法与 A 层完全相同。

盲评

对于每条录音，每款产品针对每个提示的输出都与参考转录稿和检查清单放在同一个评分包中。输出以字母（A 到 G）代替并打乱顺序，文本中的产品名称也被删除。由 Anthropic 的模型 Claude 仅对照参考转录稿为每个评分包打分。全部 13 条录音评分完成后，才揭晓字母与产品的对应关系。

评分标准

一致性规则

• 姓名的音译拼写属于转录错误，计入词错误率。药名错误属于重大幻觉标记。
• 用标准临床术语复述所说内容不会被标记，例如把 pH 7.26、乳酸 4.3 写成代谢性酸中毒。
• 当提示要求作出评估时，把已陈述的检查结果与临床医生陈述的鉴别诊断联系起来不会被标记。
• 系统提供的页眉内容不会被标记：就诊日期、患者档案标签，以及临床医生的姓名、专业和诊所。
• 编造的干预措施、建议、限制、转诊、检查、监测医嘱或管理决定属于重大标记。“下次就诊时复查”之类的笼统语句属于轻微标记。

转录稿

每份转录稿都与逐字参考文本逐词对齐，语气填充词的差异不计。Claude 对其余每一处差异进行盲评：具有临床意义的转录错误，是指可能在诊断、治疗、随访、安全或记录方面误导临床医生的错误，例如药物、剂量、数字、侧别或症状错误，否定词或红旗征丢失，或临床内容遗漏。词错误率的计算方法与 A 层相同，等价的书写形式视为相同的词（22 mm 与 22 millimetres、美式与英式拼写、汉字数字与阿拉伯数字、简体字与繁体字）。中文按字计分。

语言设置

对于主要以普通话进行的那次复诊，每款提供输入语言设置的产品都设为普通话：Heidi 设为英语和中文（普通话），Lyrebird 和 PatientNotes 设为中文（普通话，简体）。CliniScripts 在选择中文和英语的情况下两次尝试均未生成转录稿，因此使用其标准设置。Preve 没有输入语言设置，Freed 和 Hanah 会自动检测语言。Heidi 和 Hanah 的这次复诊各运行了三次，其转录结果取平均值。

分数

“已涵盖的临床细节”按每条录音第一个提示的临床检查清单项目计分：是计 1 分，部分计 0.5 分，否计 0 分。幻觉标记在同一批病历中计数。Preve 的标准临床病历按相同的临床项目评分，因为 Preve 只有在上传示例 PDF 以创建模板后才会遵循自定义指令。显著转录错误按每次诊疗计数。行业数字为另外六款产品的平均值。每一项判定和幻觉标记连同理由都公布在基准测试页面上。

参考文献

• Verga, P. et al. (2024). Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models. Cohere。B 层所用 LLM 评审团（PoLL）模式的已发表依据。
• Zheng, L. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. 记录了评审团模式所要解决的单一评审模型的局限性。
• Cohen, J. (1960). A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement。用于衡量评审团与临床医生一致性的 κ 统计量。
• Fleiss, J. L. (1971). Measuring Nominal Scale Agreement Among Many Raters. Psychological Bulletin。用于衡量评审模型之间的一致性。
• jiwer：用于计算 WER 及相关指标的开源 Python 库；在测试框架的锁定文件中固定版本。