녹음된 진료 13건을 똑같이 Hanah, Heidi, Lyrebird, Freed, PatientNotes, CliniScripts, Preve에 재생한 뒤, 모든 기록을 실제로 말한 내용과 비교해 채점했어요. 모든 녹취록, 기록, 채점 결과를 각각의 근거와 함께 이 페이지에 공개해요.
AI 스크라이브는 기록에 담아야 할 임상 세부 사항을 얼마나 담았는지 그 비율 순으로 나열했어요. 녹음마다 첫 번째 프롬프트에 대한 각 AI 스크라이브의 기록을 채점했어요.
| AI 스크라이브 | 포함된 임상 세부 사항 | 모든 임상 세부 사항을 담은 기록 | 기록당 중대한 환각 표시 | 중대한 환각 표시가 없는 기록 | 진료당 중요한 녹취 오류 | 단어 오류율(WER), 영어 진료 |
|---|---|---|---|---|---|---|
| Hanah기록 13건 | 93.7% | 62% | 0.00 | 100% | 0.59 | 1.6% |
| Heidi기록 13건 | 91.4% | 38% | 0.23 | 77% | 1.15 | 3.3% |
| CliniScripts기록 13건 | 90.8% | 62% | 0.23 | 77% | 0.69 | 2.1% |
| Lyrebird기록 13건 | 90.2% | 46% | 0.62 | 62% | 1.92 | 3.4% |
| Freed†기록 12건 | 85.7% | 42% | 0.83 | 33% | 1.25 | 19.4% |
| PatientNotes기록 13건 | 74.7% | 15% | 2.77 | 8% | 1.92 | 3.9% |
| Preve*기록 10건 | 72.2% | 30% | 1.10 | 30% | 3.54 | 6.7% |
| 다른 6종의 평균 | 84.2% | 39% | 0.96 | 48% | 1.75 | 6.4% |
* Preve는 샘플 PDF를 업로드해 템플릿을 만든 뒤에만 사용자 지정 지시를 따르기 때문에 표준 임상 기록으로 채점했어요. Preve는 녹취록이 600자 미만이면 기록을 생성하지 않아서, 가장 짧은 녹음 3건에는 기록이 없어요.
† Freed는 가장 짧은 녹음에서 두 번 시도했지만 두 번 모두 ‘중지’를 누른 뒤에도 녹음을 계속했고, 녹취록이나 기록을 만들지 않았어요. Freed는 나머지 12건으로 채점했어요.
중대한 녹취 오류는 블라인드 평가자가 의료진을 오도할 수 있다고 판단한 오류예요. 잘못된 약물, 용량, 숫자, 좌우, 증상, 누락된 부정 표현이나 위험 신호, 빠진 임상 내용이 여기에 해당해요. 단어 오류율은 군말을 포함해 모든 단어를 똑같이 계산해요.
턱 수술 재평가는 대부분 표준 중국어로 진행됐어요. 각 AI 스크라이브는 입력 언어 설정이 있으면 표준 중국어로 설정해 실행했어요. 중대한 녹취 오류가 가장 적었던 건 Heidi(세 번 실행 모두 3건)였고, 다음은 CliniScripts(4건)와 Hanah(세 번 실행에서 4~5건)였어요. PatientNotes는 9건, Freed는 7건, Lyrebird는 14건, Preve는 24건이었어요. Preve에는 입력 언어 설정이 없고, Freed는 언어를 자동으로 감지해요.
담아낸 임상 세부 사항 비율이고, 아래 숫자는 중대한 환각 표시 수예요. 진료를 선택하면 모든 기록과 채점 결과를 읽을 수 있어요.
| 진료 | Hanah | Heidi | CliniScripts | Lyrebird | Freed | PatientNotes | Preve |
|---|---|---|---|---|---|---|---|
| ICU 인수인계 구술 | 100%중대한 환각 없음 | 100%중대한 환각 없음 | 100%중대한 환각 없음 | 100%중대한 환각 없음 | 100%중대한 환각 2건 | 75%중대한 환각 2건 | 기록 없음 |
| ICU 인수인계 구술, 병동 소음 | 100%중대한 환각 없음 | 100%중대한 환각 없음 | 100%중대한 환각 없음 | 92%중대한 환각 없음 | 75%중대한 환각 1건 | 75%중대한 환각 2건 | 기록 없음 |
| 지역사회 간호사 가정 방문 | 100%중대한 환각 없음 | 100%중대한 환각 없음 | 79%중대한 환각 없음 | 100%중대한 환각 1건 | 100%중대한 환각 1건 | 64%중대한 환각 1건 | 86%중대한 환각 1건 |
| 영양사, IBS 재평가 | 92%중대한 환각 없음 | 92%중대한 환각 없음 | 100%중대한 환각 없음 | 92%중대한 환각 없음 | 100%중대한 환각 없음 | 75%중대한 환각 1건 | 92%중대한 환각 1건 |
| 무릎 통증, 짧은 진료 | 83%중대한 환각 없음 | 83%중대한 환각 없음 | 83%중대한 환각 없음 | 83%중대한 환각 없음 | 기록 없음 | 100%중대한 환각 없음 | 기록 없음 |
| 무릎 인공관절 수술 전 재활 | 100%중대한 환각 없음 | 88%중대한 환각 없음 | 100%중대한 환각 없음 | 100%중대한 환각 1건 | 100%중대한 환각 1건 | 100%중대한 환각 2건 | 100%중대한 환각 1건 |
| 근막치료(myotherapy), 시끄러운 방에서 50분 | 100%중대한 환각 없음 | 88%중대한 환각 없음 | 56%중대한 환각 없음 | 100%중대한 환각 없음 | 81%중대한 환각 1건 | 94%중대한 환각 2건 | 100%중대한 환각 없음 |
| OT 가정 안전 평가 | 100%중대한 환각 없음 | 100%중대한 환각 1건 | 100%중대한 환각 없음 | 93%중대한 환각 없음 | 93%중대한 환각 1건 | 93%중대한 환각 3건 | 93%중대한 환각 4건 |
| 천식이 있는 아이, 영어가 서툰 부모 | 100%중대한 환각 없음 | 86%중대한 환각 없음 | 100%중대한 환각 없음 | 100%중대한 환각 없음 | 100%중대한 환각 2건 | 93%중대한 환각 4건 | 71%중대한 환각 1건 |
| 표준 중국어와 영어로 진행한 턱 수술 재평가 | 81%중대한 환각 없음 | 88%중대한 환각 없음 | 88%중대한 환각 1건 | 69%중대한 환각 3건 | 62%중대한 환각 없음 | 47%중대한 환각 9건 | 25%중대한 환각 1건 |
| 사륜 오토바이 낙상, 야외 | 86%중대한 환각 없음 | 86%중대한 환각 1건 | 100%중대한 환각 1건 | 93%중대한 환각 2건 | 93%중대한 환각 1건 | 64%중대한 환각 5건 | 64%중대한 환각 2건 |
| 럭비 무릎 수술 전 재활 | 83%중대한 환각 없음 | 100%중대한 환각 없음 | 100%중대한 환각 없음 | 100%중대한 환각 1건 | 67%중대한 환각 없음 | 50%중대한 환각 3건 | 100%중대한 환각 없음 |
| 럭비 햄스트링 부상, 경기장 옆 | 100%중대한 환각 없음 | 86%중대한 환각 1건 | 93%중대한 환각 1건 | 86%중대한 환각 없음 | 86%중대한 환각 없음 | 86%중대한 환각 2건 | 79%중대한 환각 없음 |
진료와 AI 스크라이브를 선택하세요. 녹음을 재생하고, 기준 녹취록을 읽고, 체크리스트 판정과 환각 표시를 각각의 근거와 함께 볼 수 있어요.
불러오는 중…
녹음 13건은 Hanah의 정확도 코퍼스로, 저희 투명성 페이지에 공개한 릴리스 결과와 같은 세트예요. 병동 소음이 있을 때와 없을 때의 ICU 인수인계 구술, 물리치료·영양·작업치료·근막치료·지역사회 간호 진료, 부모가 영어가 서툰 천식 아동, 야외에서 녹음한 사륜 오토바이 낙상, 시끄러운 치료실에서 말소리가 약 7분인 50분짜리 근막치료 진료, 대부분 표준 중국어로 진행한 턱 수술 재평가가 포함돼요. 각 녹음에는 축어적 기준 녹취록과 기록에 꼭 담아야 할 세부 사항 체크리스트가 있어요.
각 AI 스크라이브는 Chrome에서 해당 웹 앱을 열고 일반 계정으로 로그인해 실행했어요. 녹음은 브라우저의 마이크 입력으로 재생했고, 모든 AI 스크라이브에 같은 파일을 썼어요. 녹음 후에는 각 녹음의 프롬프트를 AI 스크라이브의 문서 또는 채팅 기능에 한 글자도 바꾸지 않고 입력했어요. 예를 들면 “Generate SOAP notes please”, “Summarise this consult in two sentences for a referral letter” 같은 프롬프트예요. 각 AI 스크라이브는 2026년 10월 6일에 녹음당 한 번씩 실행했고, 입력 언어를 묻는 경우 영어로 설정했어요. 표준 중국어 재평가에서는 입력 언어 설정이 있는 AI 스크라이브를 표준 중국어로 설정했어요. Heidi는 영어 및 중국어(표준 중국어), Lyrebird와 PatientNotes는 중국어(표준 중국어, 간체)로 설정했어요. CliniScripts는 중국어와 영어를 선택하면 두 번 시도에서 모두 녹취록을 만들지 않아 기본 설정을 썼어요. Heidi와 Hanah는 표준 중국어 재평가를 각각 세 번 실행했고, 녹취 결과는 평균을 냈어요.
기록은 Anthropic의 모델인 Claude가 채점했어요. 녹음마다 모든 AI 스크라이브의 결과물에서 제품명을 지우고 문자로 가린 뒤 순서를 섞어, 고정된 채점 기준으로 기준 녹취록과 비교해 채점했어요. 체크리스트 항목은 예, 부분, 아니요로 판정해요. 녹취록이 뒷받침하지 않는 모든 진술은 환각 표시로 나열해요. 치료를 바꾸거나 임상 상황을 잘못 전할 수 있으면(지어낸 증상, 소견, 약물, 진단, 계획, 또는 잘못된 좌우나 약물명) 주요, 그 외에는 경미로 분류해요. 채점 결과의 블라인드는 모든 녹음의 채점이 끝난 뒤에야 해제했어요. 전체 채점 기준은 저희 방법론에 있어요.
각 녹취록을 축어적 기준 녹취록과 단어 단위로 정렬했어요. 군말의 차이는 제외하고, 남은 차이는 위의 중대한 녹취 오류 기준에 따라 Claude가 블라인드로 판정했어요. 단어 오류율은 저희 릴리스 보고서와 같은 엄격한 정규화 방식으로 코드가 계산하며, 같은 뜻의 표기는 같은 단어로 취급해요. 22 mm와 22 millimetres, 미국식과 영국식 철자, 한자 숫자와 아라비아 숫자, 간체와 번체가 그 예예요. 중국어는 글자 단위로 채점해요.