Hanah vs 나머지: 객관적이고 투명한 벤치마크
핵심 요약
- 2026년 10월 비교에서는 같은 진료 13건을 AI 스크라이브 7개에 재생하고, 출력물을 녹음과 대조해 채점했어요.
- Hanah는 AI 스크라이브와 함께 홈 운동 프로그램과 클리닉 브랜드 환자 앱을 제공해요. 환자는 진료 사이에도 합의한 홈 프로그램을 볼 수 있어요.
- 보고된 테스트에서 Hanah는 필수 임상 정보의 93.7%를 담아냈고, 채점된 기록에 중대한 환각 표시가 없었어요.
- 테스트는 업체가 진행했고, 채점 중에는 제품 이름을 가렸어요. 결과를 해석할 때는 표본과 수집 과정의 한계가 중요해요.
- 녹음, 출력물, 채점 근거를 살펴보세요. 벤치마크 결과가 좋다고 임상 초안을 검토할 필요가 없어지지는 않아요.
녹음된 진료 13건을 똑같이 Hanah, Heidi, Lyrebird, Freed, PatientNotes, CliniScripts, Preve에 재생한 뒤, 모든 기록을 실제로 말한 내용과 대조해 채점했어요. 모든 녹취록, 기록, 점수가 담긴 전체 결과는 벤치마크 페이지에 있어요.
결과
| AI 스크라이브 | 포함된 임상 세부 사항 | 기록당 중대한 환각 표시 | 진료당 중요한 녹취 오류 |
|---|---|---|---|
| Hanah | 93.7% | 0.00 | 0.59 |
| Heidi | 91.4% −2.3% | 0.23 +0.23 | 1.15 +0.56 |
| CliniScripts | 90.8% −2.9% | 0.23 +0.23 | 0.69 +0.10 |
| Lyrebird | 90.2% −3.4% | 0.62 +0.62 | 1.92 +1.33 |
| Freed | 85.7% −8.0% | 0.83 +0.83 | 1.25 +0.66 |
| PatientNotes | 74.7% −19.0% | 2.77 +2.77 | 1.92 +1.33 |
| Preve | 72.2% −21.5% | 1.10 +1.10 | 3.54 +2.95 |
Hanah의 기록은 평균적인 AI 스크라이브보다 필수 임상 정보를 11% 더 담아냈어요. Hanah의 기록 13건 중 중대한 환각 표시가 있는 기록은 없었고, 다른 AI 스크라이브의 기록 중 중대한 표시가 없는 기록은 절반이 안 됐어요. Hanah의 녹취록은 임상적으로 중요한 오류가 평균보다 66% 적었고, 영어 진료에서는 76% 적었어요. 임상적으로 중요한 녹취 오류란 의료진을 오도할 수 있는 오류예요. 잘못된 약, 용량, 수치, 좌우, 증상, 빠진 부정 표현이나 위험 신호, 누락된 임상 내용이 해당해요.
중대한 환각 표시의 실제 모습
중대한 환각 표시는 말하지 않았는데 기록에 들어가 치료를 바꿀 수 있는 내용이에요. 아래는 이번 벤치마크의 기록에서 나온 사례이고, 각각 원래 녹취록과 함께 공개돼 있어요.
- ICU 인수인계에서 PatientNotes는 환자의 케톤산증 원인을 dapagliflozin이라고 적었어요. 의료진은 empagliflozin이라고 말했어요. 병동 소음과 함께 녹음한 같은 구술에서 PatientNotes는 심박수를 91로 기록했어요. 91은 환자의 산소포화도였고, 산소포화도는 기록에서 빠졌어요.
- 천식이 있는 아이의 경우, PatientNotes는 의료진이 dexamethasone이라고 말한 곳에 betamethasone이라고 썼고, 부모가 노란 구토라고 설명한 것을 노란 가래로 기록했어요.
- 사륜 오토바이(쿼드 바이크)에서 떨어진 환자가 Heidi의 요약에서는 자전거 낙상, Lyrebird의 기록에서는 오토바이 낙상이 됐어요. Lyrebird는 한 번도 언급되지 않은 오른쪽에 부상이 있다고 적기도 했어요.
녹취록도 틀릴 수 있어요. 소음이 있는 치료실에서 말소리가 약 7분뿐인 50분짜리 마이오테라피 진료에서, Freed의 녹취록은 조용한 구간을 아무도 하지 않은 말로 채웠어요. “Thank you for watching!”이나 어느 마을의 역사에 관한 문단 같은 것이었어요. 같은 진료의 Lyrebird 녹취록에는 아무도 언급하지 않은 편두통 약 Zolmitriptan이 들어 있었어요. 그 녹음에 대한 Hanah의 녹취록에는 임상적으로 중요한 오류가 없었어요.
중국어(표준어)와 영어
한 진료는 대부분 중국어(표준어)로 진행하고 임상 용어만 영어로 쓴 턱 수술 재평가였어요. 입력 언어 설정이 있는 AI 스크라이브는 모두 중국어로 설정했고, Heidi와 Hanah는 각각 세 번 실행했어요.
녹취는 Heidi가 가장 잘했고, 세 번 실행 모두 임상적으로 중요한 오류가 3개였어요. CliniScripts는 4개, Hanah는 4~5개였어요. Hanah의 오류는 중국어 사이에 영어로 말한 임상 용어였어요. “pus”를 “pass”로, chlorhexidine을 “hexadene”으로 적은 것 같은 경우예요. PatientNotes는 9개, Freed는 7개, Lyrebird는 14개였어요. Preve는 입력 언어 설정이 없고 24개였어요. 이 재평가 진료에 대한 Hanah의 기록에는 그래도 중대한 환각 표시가 없었어요.
진행 방법
녹음은 Hanah의 정확도 코퍼스이고, 투명성 페이지의 릴리스 결과에 쓴 것과 같은 녹음 13건이에요. 구술, 물리치료, 영양, 작업치료, 마이오테라피, 지역사회 간호 진료, 부모가 영어를 잘 못하는 아이, 야외 녹음, 중국어 재평가 진료가 들어 있어요. 각 녹음에는 축어적 기준 녹취록과 기록에 반드시 담겨야 할 내용의 체크리스트가 있어요.
각 AI 스크라이브는 일반 계정과 기본 설정으로 각자의 웹 앱에서 실행했어요. 모든 AI 스크라이브에 같은 음성 파일을 넣었고, 같은 프롬프트를 글자 그대로 입력했어요. 위의 중국어 반복 실행을 제외하면 각 AI 스크라이브는 2026년 10월 6일에 녹음마다 한 번씩 실행했어요.
기록은 Anthropic의 모델인 Claude가 채점했어요. 녹음마다 모든 AI 스크라이브의 기록을 제품 이름을 지운 채 문자로 가려 섞은 뒤, 고정된 채점 기준으로 기준 녹취록과 대조해 채점했어요. 문자를 제품과 다시 연결한 것은 13건을 모두 채점한 뒤였어요. 각 녹취록은 기준 녹취록과 단어 단위로 비교했고, Claude가 블라인드 상태로 모든 차이를 판정해 임상적으로 중요한지 결정했어요. 채점 기준과 모든 점수의 규칙은 방법론에 있어요.
직접 확인하세요
벤치마크 페이지의 모든 점수에는 근거가 함께 있어요. 각 녹음을 재생하고, 기준 녹취록을 읽고, 각 AI 스크라이브가 쓴 내용과 비교해 보실 수 있어요.
자주 묻는 질문
독립적인 임상 연구였나요?
아니요. 채점 중 제품 이름을 가린, Hanah가 진행한 비교예요. 독자가 결과를 검토할 수 있도록 방법론과 원본 근거를 링크해 두었어요.
중대한 환각 표시가 0건이면 모든 기록이 완벽했다는 뜻인가요?
아니요. 이번 실행에서 채점된 Hanah 기록에 중대한 표시가 없었다는 뜻이에요. 누락과 다른 오류는 여전히 주의가 필요하고, 모든 초안은 검토해야 해요.
개별 점수는 어디서 확인할 수 있나요?
벤치마크 근거에 녹음, 기준 녹취록, 제품 출력물, 점수의 근거가 연결돼 있어요.
이 글에서 인용한 출처
업데이트 안내: 핵심 요약에서 홈 운동 프로그램과 클리닉 브랜드 환자 앱을 강조했어요. 출처 확인 날짜와 벤치마크 날짜는 글에 적힌 그대로예요.