---
title: "AI 스크라이브 벤치마크: Hanah와 다른 AI 스크라이브 6종"
description: "녹음된 진료 13건을 Hanah, Heidi, Lyrebird, Freed, PatientNotes, CliniScripts, Preve에 재생했어요. 모든 녹취록, 기록, 채점 결과를 채점 근거와 함께 공개해요."
source: https://hanah.health/ko/benchmark/
---

벤치마크

# AI 스크라이브 벤치마크: Hanah와 다른 AI 스크라이브 6종

2026년 10월 6일 실행 · 녹음된 진료 13건 · AI 스크라이브 7종

녹음된 진료 13건을 똑같이 Hanah, Heidi, Lyrebird, Freed, PatientNotes, CliniScripts, Preve에 재생한 뒤, 모든 기록을 실제로 말한 내용과 비교해 채점했어요. 모든 녹취록, 기록, 채점 결과를 각각의 근거와 함께 이 페이지에 공개해요.

100% 중대한 환각 표시가 없는 Hanah 기록의 비율 다른 AI 스크라이브 6종의 평균은 48%였어요.

66% 감소 임상적으로 중요한 녹취 오류 진료당 0.59건, 평균은 1.75건이에요.

11% 증가 필요한 임상 세부 사항 포함 93.7%, 평균은 84.2%예요.

## 결과

AI 스크라이브는 기록에 담아야 할 임상 세부 사항을 얼마나 담았는지 그 비율 순으로 나열했어요. 녹음마다 첫 번째 프롬프트에 대한 각 AI 스크라이브의 기록을 채점했어요.

| AI 스크라이브 | 포함된 임상 세부 사항 | 모든 임상 세부 사항을 담은 기록 | 기록당 중대한 환각 표시 | 중대한 환각 표시가 없는 기록 | 진료당 중요한 녹취 오류 | 단어 오류율(WER), 영어 진료 |
| --- | --- | --- | --- | --- | --- | --- |
| Hanah기록 13건 | 93.7% | 62% | 0.00 | 100% | 0.59 | 1.6% |
| Heidi기록 13건 | 91.4% | 38% | 0.23 | 77% | 1.15 | 3.3% |
| CliniScripts기록 13건 | 90.8% | 62% | 0.23 | 77% | 0.69 | 2.1% |
| Lyrebird기록 13건 | 90.2% | 46% | 0.62 | 62% | 1.92 | 3.4% |
| Freed†기록 12건 | 85.7% | 42% | 0.83 | 33% | 1.25 | 19.4% |
| PatientNotes기록 13건 | 74.7% | 15% | 2.77 | 8% | 1.92 | 3.9% |
| Preve*기록 10건 | 72.2% | 30% | 1.10 | 30% | 3.54 | 6.7% |
| 다른 6종의 평균 | 84.2% | 39% | 0.96 | 48% | 1.75 | 6.4% |

\* Preve는 샘플 PDF를 업로드해 템플릿을 만든 뒤에만 사용자 지정 지시를 따르기 때문에 표준 임상 기록으로 채점했어요. Preve는 녹취록이 600자 미만이면 기록을 생성하지 않아서, 가장 짧은 녹음 3건에는 기록이 없어요.

† Freed는 가장 짧은 녹음에서 두 번 시도했지만 두 번 모두 ‘중지’를 누른 뒤에도 녹음을 계속했고, 녹취록이나 기록을 만들지 않았어요. Freed는 나머지 12건으로 채점했어요.

중대한 녹취 오류는 블라인드 평가자가 의료진을 오도할 수 있다고 판단한 오류예요. 잘못된 약물, 용량, 숫자, 좌우, 증상, 누락된 부정 표현이나 위험 신호, 빠진 임상 내용이 여기에 해당해요. 단어 오류율은 군말을 포함해 모든 단어를 똑같이 계산해요.

턱 수술 재평가는 대부분 표준 중국어로 진행됐어요. 각 AI 스크라이브는 입력 언어 설정이 있으면 표준 중국어로 설정해 실행했어요. 중대한 녹취 오류가 가장 적었던 건 Heidi(세 번 실행 모두 3건)였고, 다음은 CliniScripts(4건)와 Hanah(세 번 실행에서 4~5건)였어요. PatientNotes는 9건, Freed는 7건, Lyrebird는 14건, Preve는 24건이었어요. Preve에는 입력 언어 설정이 없고, Freed는 언어를 자동으로 감지해요.

## 진료별

담아낸 임상 세부 사항 비율이고, 아래 숫자는 중대한 환각 표시 수예요. 진료를 선택하면 모든 기록과 채점 결과를 읽을 수 있어요.

| 진료 | Hanah | Heidi | CliniScripts | Lyrebird | Freed | PatientNotes | Preve |
| --- | --- | --- | --- | --- | --- | --- | --- |
| ICU 인수인계 구술 | 100%중대한 환각 없음 | 100%중대한 환각 없음 | 100%중대한 환각 없음 | 100%중대한 환각 없음 | 100%중대한 환각 2건 | 75%중대한 환각 2건 | 기록 없음 |
| ICU 인수인계 구술, 병동 소음 | 100%중대한 환각 없음 | 100%중대한 환각 없음 | 100%중대한 환각 없음 | 92%중대한 환각 없음 | 75%중대한 환각 1건 | 75%중대한 환각 2건 | 기록 없음 |
| 지역사회 간호사 가정 방문 | 100%중대한 환각 없음 | 100%중대한 환각 없음 | 79%중대한 환각 없음 | 100%중대한 환각 1건 | 100%중대한 환각 1건 | 64%중대한 환각 1건 | 86%중대한 환각 1건 |
| 영양사, IBS 재평가 | 92%중대한 환각 없음 | 92%중대한 환각 없음 | 100%중대한 환각 없음 | 92%중대한 환각 없음 | 100%중대한 환각 없음 | 75%중대한 환각 1건 | 92%중대한 환각 1건 |
| 무릎 통증, 짧은 진료 | 83%중대한 환각 없음 | 83%중대한 환각 없음 | 83%중대한 환각 없음 | 83%중대한 환각 없음 | 기록 없음 | 100%중대한 환각 없음 | 기록 없음 |
| 무릎 인공관절 수술 전 재활 | 100%중대한 환각 없음 | 88%중대한 환각 없음 | 100%중대한 환각 없음 | 100%중대한 환각 1건 | 100%중대한 환각 1건 | 100%중대한 환각 2건 | 100%중대한 환각 1건 |
| 근막치료(myotherapy), 시끄러운 방에서 50분 | 100%중대한 환각 없음 | 88%중대한 환각 없음 | 56%중대한 환각 없음 | 100%중대한 환각 없음 | 81%중대한 환각 1건 | 94%중대한 환각 2건 | 100%중대한 환각 없음 |
| OT 가정 안전 평가 | 100%중대한 환각 없음 | 100%중대한 환각 1건 | 100%중대한 환각 없음 | 93%중대한 환각 없음 | 93%중대한 환각 1건 | 93%중대한 환각 3건 | 93%중대한 환각 4건 |
| 천식이 있는 아이, 영어가 서툰 부모 | 100%중대한 환각 없음 | 86%중대한 환각 없음 | 100%중대한 환각 없음 | 100%중대한 환각 없음 | 100%중대한 환각 2건 | 93%중대한 환각 4건 | 71%중대한 환각 1건 |
| 표준 중국어와 영어로 진행한 턱 수술 재평가 | 81%중대한 환각 없음 | 88%중대한 환각 없음 | 88%중대한 환각 1건 | 69%중대한 환각 3건 | 62%중대한 환각 없음 | 47%중대한 환각 9건 | 25%중대한 환각 1건 |
| 사륜 오토바이 낙상, 야외 | 86%중대한 환각 없음 | 86%중대한 환각 1건 | 100%중대한 환각 1건 | 93%중대한 환각 2건 | 93%중대한 환각 1건 | 64%중대한 환각 5건 | 64%중대한 환각 2건 |
| 럭비 무릎 수술 전 재활 | 83%중대한 환각 없음 | 100%중대한 환각 없음 | 100%중대한 환각 없음 | 100%중대한 환각 1건 | 67%중대한 환각 없음 | 50%중대한 환각 3건 | 100%중대한 환각 없음 |
| 럭비 햄스트링 부상, 경기장 옆 | 100%중대한 환각 없음 | 86%중대한 환각 1건 | 93%중대한 환각 1건 | 86%중대한 환각 없음 | 86%중대한 환각 없음 | 86%중대한 환각 2건 | 79%중대한 환각 없음 |

## 모든 기록, 녹취록, 채점 결과

진료와 AI 스크라이브를 선택하세요. 녹음을 재생하고, 기준 녹취록을 읽고, 체크리스트 판정과 환각 표시를 각각의 근거와 함께 볼 수 있어요.

진료 ICU 인수인계 구술 ICU 인수인계 구술, 병동 소음 지역사회 간호사 가정 방문 영양사, IBS 재평가 무릎 통증, 짧은 진료 무릎 인공관절 수술 전 재활 근막치료(myotherapy), 시끄러운 방에서 50분 OT 가정 안전 평가 천식이 있는 아이, 영어가 서툰 부모 표준 중국어와 영어로 진행한 턱 수술 재평가 사륜 오토바이 낙상, 야외 럭비 무릎 수술 전 재활 럭비 햄스트링 부상, 경기장 옆

불러오는 중…

## 실행 방법

### 녹음

녹음 13건은 Hanah의 정확도 코퍼스로, 저희 [투명성 페이지](https://hanah.health/ko/au/trust/transparency/)에 공개한 릴리스 결과와 같은 세트예요. 병동 소음이 있을 때와 없을 때의 ICU 인수인계 구술, 물리치료·영양·작업치료·근막치료·지역사회 간호 진료, 부모가 영어가 서툰 천식 아동, 야외에서 녹음한 사륜 오토바이 낙상, 시끄러운 치료실에서 말소리가 약 7분인 50분짜리 근막치료 진료, 대부분 표준 중국어로 진행한 턱 수술 재평가가 포함돼요. 각 녹음에는 축어적 기준 녹취록과 기록에 꼭 담아야 할 세부 사항 체크리스트가 있어요.

### 녹음

각 AI 스크라이브는 Chrome에서 해당 웹 앱을 열고 일반 계정으로 로그인해 실행했어요. 녹음은 브라우저의 마이크 입력으로 재생했고, 모든 AI 스크라이브에 같은 파일을 썼어요. 녹음 후에는 각 녹음의 프롬프트를 AI 스크라이브의 문서 또는 채팅 기능에 한 글자도 바꾸지 않고 입력했어요. 예를 들면 “Generate SOAP notes please”, “Summarise this consult in two sentences for a referral letter” 같은 프롬프트예요. 각 AI 스크라이브는 2026년 10월 6일에 녹음당 한 번씩 실행했고, 입력 언어를 묻는 경우 영어로 설정했어요. 표준 중국어 재평가에서는 입력 언어 설정이 있는 AI 스크라이브를 표준 중국어로 설정했어요. Heidi는 영어 및 중국어(표준 중국어), Lyrebird와 PatientNotes는 중국어(표준 중국어, 간체)로 설정했어요. CliniScripts는 중국어와 영어를 선택하면 두 번 시도에서 모두 녹취록을 만들지 않아 기본 설정을 썼어요. Heidi와 Hanah는 표준 중국어 재평가를 각각 세 번 실행했고, 녹취 결과는 평균을 냈어요.

### Claude 심사단의 채점

기록은 Anthropic의 모델인 Claude가 채점했어요. 녹음마다 모든 AI 스크라이브의 결과물에서 제품명을 지우고 문자로 가린 뒤 순서를 섞어, 고정된 채점 기준으로 기준 녹취록과 비교해 채점했어요. 체크리스트 항목은 예, 부분, 아니요로 판정해요. 녹취록이 뒷받침하지 않는 모든 진술은 환각 표시로 나열해요. 치료를 바꾸거나 임상 상황을 잘못 전할 수 있으면(지어낸 증상, 소견, 약물, 진단, 계획, 또는 잘못된 좌우나 약물명) 주요, 그 외에는 경미로 분류해요. 채점 결과의 블라인드는 모든 녹음의 채점이 끝난 뒤에야 해제했어요. 전체 채점 기준은 저희 [방법론](https://hanah.health/ko/au/trust/wer-methodology/#mth-comparative)에 있어요.

### 녹취 오류

각 녹취록을 축어적 기준 녹취록과 단어 단위로 정렬했어요. 군말의 차이는 제외하고, 남은 차이는 위의 중대한 녹취 오류 기준에 따라 Claude가 블라인드로 판정했어요. 단어 오류율은 저희 [릴리스 보고서](https://hanah.health/ko/au/trust/wer-methodology/#mth-layer-a)와 같은 엄격한 정규화 방식으로 코드가 계산하며, 같은 뜻의 표기는 같은 단어로 취급해요. 22 mm와 22 millimetres, 미국식과 영국식 철자, 한자 숫자와 아라비아 숫자, 간체와 번체가 그 예예요. 중국어는 글자 단위로 채점해요.