במבחנים השוואתיים קפדניים בתעשייה, Hanah נמצאה כסקרייב ה-AI הטוב ביותר
עיקרי הדברים
- ההערכה שמצוטטת השוותה שישה סקרייבים מבוססי AI על אותן 12 הקלטות, כשזהות הרשומות הוסתרה בזמן ההערכה.
- Hanah כוללת תוכניות תרגילים ביתיות ואפליקציית מטופלים במיתוג הקליניקה, לצד סקרייב ה-AI שלה. המטופלים יכולים לגשת לתוכנית הביתית שסוכמה איתם בין התורים.
- בהערכה הזו Hanah דורגה ראשונה ב-18 מתוך 19 המדדים שדווחו; המאמר מדווח גם על המדד שבו היא לא הובילה.
- התוצאות האלה מתארות את הבדיקה שמצוטטת. בדקו את ההקלטות, את הפלטים ואת שיטת ההערכה, ובדקו כל טיוטה קלינית.
ScribeStandard בדקה את Hanah מול Heidi, Lyrebird, Freed, CliniScripts ו-PatientNotes על אותם 12 מפגשים מוקלטים, והעריכה כל רשומה באופן עיוור מול אותה רשימה של עובדות קליניות. Hanah דורגה ראשונה ב-18 מתוך 19 המדדים. לסיכום המלא: Hanah is the best AI scribe.
הבדיקה
כל הסקרייבים שמעו את אותו אודיו. לכל מפגש יש רשימה של כל עובדה שנאמרה על המצבים, התסמינים והסימנים של המטופל: 358 עובדות ב-12 המפגשים. רשומה מקבלת שגיאה על כל עובדה שהיא החמיצה או כללה רק חלקית, ועל כל טענה שהמפגש לא תומך בה. השגיאות נספרות כמו ש-Weiner et al. (2020) ספרו אותן ברשומות שרופאים כתבו בעצמם, וכל סקרייב הורץ לפחות חמש פעמים על כל מפגש.
התוצאות
| סקרייב | שגיאות לרשומה | עובדות שנכללו | סימוני הזיה לרשומה | רשומה מוכנה לאישור סופי |
|---|---|---|---|---|
| Hanah | 4.1 | 93% | 0.80 | 2 דק׳ 23 שנ׳ |
| Freed | 8.3 | 87% | 2.47 | 4 דק׳ 40 שנ׳ |
| Heidi | 9.0 | 81% | 1.00 | 3 דק׳ 25 שנ׳ |
| CliniScripts | 9.7 | 80% | 1.40 | 4 דק׳ 03 שנ׳ |
| Lyrebird | 11.6 | 82% | 3.42 | 4 דק׳ 06 שנ׳ |
| PatientNotes | 18.0 | 61% | 2.58 | 5 דק׳ 39 שנ׳ |
Weiner et al. מצאו 5.0 שגיאות לרשומה ברשומות של רופאים שנבדקו מול הקלטות של הביקור. הבדיקה של ScribeStandard סופרת בקפדנות רבה יותר משלהם, ו-Hanah הייתה הסקרייב היחיד מתחת לנתון הזה.
בדיקה ותיקון של רשומה של Hanah נמשכו 2 דקות ו-2 שניות. כתיבה של הרשומה בעצמכם נמשכת בחציון 8.1 דקות (Apathy et al. 2023), כך שסיום רשומה של Hanah מהיר ב-75% מכתיבה ידנית. הבא בתור היה Heidi, עם 63%.
ל-Hanah היה גם שיעור שגיאות המילים הנמוך ביותר, 12.8%, הכי מעט מילים ששמעו לא נכון ומשנות את המשמעות הקלינית, רשומה בחציון של 19 שניות אחרי שלוחצים על עצירה, והכי מעט נתונים למפגש, 9.1 MB.
המדד היחיד ש-Hanah לא הובילה בו
במבחן עומס של 50 דקות, שבו כל הסקרייבים הקליטו בבת אחת על מחשב אחד, CliniScripts השתמש בפחות זיכרון: 972 MB לעומת 1,103 MB של Hanah.
ל-Hanah היה גם השיעור הגבוה ביותר של רשומות שמוכנות לאישור סופי בלי שום עריכה, 8%. כל רשומה מכל סקרייב עדיין צריכה את הבדיקה שלכם לפני שהיא נכנסת לרשומה הקלינית, והטיוטות של Hanah מחכות לה.
כל ציון מתפרסם
ScribeStandard מפרסמת את ההקלטות, את התמלילים, את הרשומות של כל סקרייב ואת הנימוק מאחורי כל ציון. אפשר להאזין למפגש, לקרוא מה כל סקרייב ניסח ולבדוק את הניקוד שורה אחר שורה. קראו את התוצאות המלאות ואת ההסבר על אופן הבדיקה.
ואז הריצו בדיקה משלכם. לנסות את Hanah חודש בחינם על המפגשים שלכם, בלי כרטיס אשראי.
שאלות נפוצות
כמה מפגשים היו בהערכה הזו?
ההערכה שמצוטטת במאמר הזה השתמשה ב-12 מפגשים מוקלטים ובשישה סקרייבים מבוססי AI. פוסטים אחרים על מבחנים השוואתיים עשויים לתאר הרצות אחרות או גדלי מדגם אחרים.
האם Hanah הובילה בכל מדד שדווח?
לא. המאמר מדווח על מקום ראשון ב-18 מתוך 19 מדדים, ומציין את השימוש בזיכרון כמדד שבו מוצר אחר הוביל.
האם אפשר לבדוק את הראיות?
המאמר מקשר לתוצאות ולמתודולוגיה, כולל ההקלטות, הפלטים והנימוקים מאחורי הציונים. קראו אותם לצד התוצאות שבכותרת.
המקורות שצוטטו במאמר
- Hanah is the best AI scribe – scribestandard.com
- ההסבר על אופן הבדיקה – scribestandard.com
הערת עדכון: הודגשו תוכניות התרגילים הביתיות ואפליקציית המטופלים במיתוג הקליניקה בעיקרי הדברים. תאריכי בדיקת המקורות והמבחן ההשוואתי נשארים כפי שמצוין במאמר.