AI 헬스테크는 투명해야 해요. 하지만 대부분은 그렇지 않아요.

핵심 요약

• 정확도 주장은 채점 방법과 그 뒤의 오류를 들여다볼 수 있을 때만 쓸모가 있어요.
• 이 과거 평가에서는 테스트 106개 중 실수 3개가 보고되었어요. 그 실행 시점의 기록이에요.
• 임상 AI는 개선뿐 아니라 실패도 솔직하게 보고해야 하고, 의료진은 여전히 그 결과물을 검토해야 해요.

AI 헬스테크는 투명해야 해요. 하지만 대부분은 그렇지 않아요.

그래서 저희 같은 처지의 회사 대부분이 절대 글로 남기지 않을 이야기를 하려고 해요. Hanah는 저희 내부 벤치마크를 완벽한 정확도로 통과하지 못해요. 최근 평가 실행에서 테스트 106개 중 실수 3개가 있었어요. 이걸 공개하는 게 마음이 아프지만, 바로 그래서 공개해요.

전통적인 소프트웨어 업계의 공식이 창업자에게 심어 주는 본능은 모두 이 수치를 묻어 두라고 말해요. 묻어 두는 게 너무 정직하지 못하다고 느껴지면, 더 부드러운 선택지도 늘 있어요. 수치를 다듬는 거예요. 채점 방식을 느슨하게 하고, 유리한 테스트 사례를 고르고, 보기 좋은 정확도 지표를 택하고, 불리한 오류는 정규화로 지워 버리고, 차이가 사라질 때까지 기준 녹취록을 조용히 손보는 식이죠. 실제 97%를 광고용 100%로 바꾸는, 그럴듯해 보이는 방법은 열두 가지쯤 돼요. 저희는 그 방법을 모두 알아요. 그래서 그중 어느 것도 쓰지 않아요.

재현할 수 없는 수치는 벤치마크가 아니에요

그건 실험실 가운을 입은 마케팅이에요. 결과가 좋아 보일 때까지 채점 방식을 조용히 바꾸기 시작하는 순간, 벤치마크는 제품을 측정하지 않고 저희가 스스로를 얼마나 치켜세우고 싶은지를 측정하게 돼요. 환자 앞에서 이 도구를 믿을지 결정해야 하는 의료진에게는 아무 가치가 없어요.

그래서 저희는 반대쪽에 선을 그어요. 단어 오류율은 버전 관리되는 코퍼스로 엄격하고 투명하게 채점하고, 전체 방법은 호주 벤치마크 페이지에 모두 공개해요. 읽어 보시고 저희 계산을 확인해 보세요. 수치를 낮추려고 녹취록을 손으로 고치지 않고, 안 좋은 한 주를 좋은 한 주처럼 보이게 하려고 느슨한 정규화를 꺼내 들지도 않아요. 수치가 움직인다면 좋든 나쁘든 제품이 실제로 바뀌었기 때문이고, 저희는 그 이유를 짚을 수 있어요.

헬스테크는 생산성 소프트웨어가 아니에요

이 차이는 거의 어느 분야보다 이 분야에서 더 중요해요. 틀렸을 때 치르는 대가가 대칭적이지 않기 때문이에요.

Hanah는 자동 완성이 잘못돼도 몇 초 손해 보는 프로젝트 관리 앱이 아니에요. 신뢰받는 것이 존재 이유인 Delve 같은 GRC(거버넌스·위험·규정 준수) 플랫폼도 아니에요. 그런 플랫폼에서 최악의 경우는 감사 실패와 곤란한 한 분기 정도예요. 이건 임상 기록이에요. 의료진과 환자 사이에, 조용한 오류 하나가 누군가의 치료에 관한 결정으로 번질 수 있는 바로 그 자리에 있어요.

“될 때까지 된 척하라”는 사진 공유 앱에는 꽤 괜찮은 좌우명이에요. 하지만 헬스테크에서 그건 야망으로 포장한 과실이에요. 걸린 것이 너무 커서 허세가 용납되지 않아요.

책임이 실제로 어떤 모습인지

책임은 요금제 페이지에 적힌 구호가 아니에요. 저희에게는 구체적이고 불편한 몇 가지 약속을 뜻해요.

• 고정된 엄격한 벤치마크로 스스로를 측정하고 전체 방법론을 공개해요. 그래서 수치를 믿어 달라고 하는 대신 확인할 수 있게 해요.
• 모든 결과물은 기록에 들어가기 전에 의료진이 검토하고 승인해요. 사람이 최후의 안전장치가 되도록 처음부터 설계한 것이지, 나중에 덧붙인 것이 아니에요.
• 저희가 무언가를 틀리면, 선생님이 직접 알아내게 두기보다 어디가 틀렸는지 먼저 말씀드릴게요. 그 3개의 실수는 건너뛰어 주길 바라는 각주가 아니에요. 그게 핵심이에요.

지어낸 100%를 파는 것보다 정직한 97%를 보여 드리고 싶어요.

불편한 진실은, 철저한 투명성은 사람들이 그것만 믿게 되는 순간까지는 경쟁에서 불리하다는 거예요. 모두가 정확하다고 주장하면서 아무도 계산 과정을 보여 주지 않는 분야에서, 계산 과정을 보여 주는 회사가 되는 건 마케팅 전략이 아니에요. 그게 곧 제품이에요.

저희는 업계 전체가 같은 방식으로, 즉 공개적이고 재현 가능하게, 부족했던 때까지 포함해서 측정되어야 한다고 생각해요. 저희가 먼저 기꺼이 나설게요.

자주 묻는 질문

이 글이 최신 벤치마크를 보고하나요?

이 글과 함께 공개한 평가를 설명해요. 더 최근 실행과 그 방법은 최신 정확도 보고서를 참고하세요.

왜 정확도 수치뿐 아니라 오류도 공개하나요?

대표 비율만으로는 무엇이 잘못됐는지 알 수 없어요. 방법과 실패를 공개해야 독자가 결과의 의미와 한계를 판단할 수 있어요.

벤치마크 결과가 좋으면 기록을 검토하지 않아도 되나요?

아니요. 벤치마크는 성능의 한 표본일 뿐이고, AI는 여전히 정보를 빠뜨리거나 지어낼 수 있어요. 의료진이 모든 초안을 확인해야 해요.