검증 투명성
달라진 점.
이 지역에서 같은 코퍼스로 이전에 공개한 벤치마크와 오늘 공개하는 벤치마크를 비교해요. 두 보고서 모두 전체 내용을 그대로 볼 수 있고, 아래 수치는 직접 입력한 것이 아니라 두 보고서에서 계산했어요.
채점 패널도 바뀌었어요. 이전 실행은 더 작고 저렴한 심사 모델 두 개가 채점했어요. 이 모델들이 문장 수를 잘못 세거나 문서 구조를 잘못 읽는 등 피할 수 있는 실수를 한다는 것을 확인해, 이번 실행은 더 강력한 모델로 채점했어요. 이전 실행은 일부러 다시 채점하지 않았어요. 그 수치는 측정한 날 그대로예요. 따라서 아래 포함률 변화의 일부는 제품이 나아져서가 아니라 채점이 나아진 결과이고, 저희는 기록을 조용히 고치기보다 이 점을 밝히는 쪽을 택했어요.
저희가 바꾼 것
- 녹음 파이프라인. 음성 활동 감지(VAD) 게이팅과, 긴 녹음의 끝부분을 소리 없이 누락시키던 디코더 지연을 고쳤어요. 단어 오류율 개선의 대부분이 여기에서 나왔어요.
- 기준 정답. 기준 녹취록이 단어가 아니라 표기 방식에서 오디오와 어긋난 부분(말로 한 숫자를 글자로 적은 경우, 지역별 철자, 단위 약어)을 바로잡았어요. 실제로 잘못 들은 부분은 그대로 두었어요. 벤치마크는 바로 그것을 측정하려고 있는 것이니까요.
- 녹음 후 교정. 이제 두 번째 단계에서 오디오를 다시 듣고, 기록을 작성하기 전에 녹취 오류를 고쳐요. 이전에는 이 단계가 대부분의 녹음에서 소리 없이 실패하고 있었어요.
- 기록 생성 모델. 더 새로운 모델로 바꾸고, 짐작하지 않고 측정했어요. 지어낸 내용은 줄었지만, 녹취를 담당하는 모델이 아니기 때문에 녹취 정확도에는 의미 있는 변화가 없었어요.
이 결과를 공개하는 이유
모델 제공업체는 API 뒤에 있는 것을 예고 없이 바꾸고, 업체가 업그레이드하면 “더 좋아질 것”이라고 말하는 것은 근거가 아니에요. 저희는 의료진이 쓰는 것과 같은 브라우저 경로로 지역마다 자체 벤치마크를 실행하고, 그날 확인한 결과를 공개해요. 앞으로 어떤 실행에서 성능이 떨어지면 그것도 공개할 거예요. 원인을 설명할 수 있거나, 고칠 문제를 찾은 것이니까요.