מבחן השוואתי

מבחן השוואתי לסקרייבים מבוססי AI: Hanah ושבעה סקרייבים נוספים

השמענו את אותם 13 מפגשים מוקלטים ל-Hanah, Heidi, Lyrebird, Freed, PatientNotes, CliniScripts, Preve ו-Arlo, ואז דירגנו כל רשומה מול מה שנאמר בפועל. כל תמליל, רשומה וציון מתפרסמים בעמוד הזה, עם הנימוק לכל אחד מהם.

92% מהרשומות של Hanah ללא סימוני הזיה משמעותית הממוצע של שבעת הסקרייבים האחרים היה 42%.
61% פחות שגיאות תמלול משמעותיות קלינית 0.85 למפגש לעומת ממוצע של 2.17.
13% יותר פרטים קליניים נדרשים שנכללו 93.1% לעומת ממוצע של 82.3%.

תוצאות

הסקרייבים מסודרים לפי שיעור הפרטים הקליניים הנדרשים שהרשומות שלהם כללו. לכל סקרייב נבדקה הרשומה שהפיק לפרומפט הראשון של כל הקלטה.

סקרייב AI פרטים קליניים שנכללו רשומות עם כל הפרטים הקליניים סימוני הזיה משמעותית לרשומה סימוני הזיה חמורה, כל הרשומות סימוני הזיה חמורה למסמך, כולל סיכומים ומכתבים סימוני הזיה חמורה, כולל סיכומים ומכתבים רשומות ללא סימון של הזיה חמורה שגיאות תמלול משמעותיות למפגש שיעור שגיאות המילים, מפגשים באנגלית
Hanah13 רשומות 93.1% 62% 0.23 3 0.17 4 92% 0.85 1.6%
Heidi13 רשומות 91.4% 38% 0.31 4 0.22 5 69% 1.08 3.3%
CliniScripts13 רשומות 90.8% 62% 0.54 7 0.35 8 62% 1.08 2.1%
Lyrebird13 רשומות 89.7% 54% 0.85 11 0.74 17 38% 2.08 3.4%
Freed†12 רשומות 84.5% 50% 0.50 6 0.43 9 58% 1.67 19.4%
PatientNotes13 רשומות 75.3% 15% 2.46 32 2.43 56 15% 2.38 3.9%
Arlo13 רשומות 72.4% 31% 1.00 13 1.04 24 23% 3.62 5.2%
Preve*10 רשומות 72.2% 30% 2.40 24 2.40 24 30% 3.31 6.7%
ממוצע שבעת האחרים 82.3% 40% 1.15 13.9 1.09 20.4 42% 2.17 6.3%

* Preve דורג על הרשומה הקלינית הסטנדרטית שלו, כי הוא מבצע הנחיה מותאמת אישית רק אחרי שמעלים קובץ PDF לדוגמה כדי לבנות תבנית. Preve לא מפיק רשומה מתמליל של פחות מ-600 תווים, ולשלוש ההקלטות הקצרות ביותר שלו אין רשומה.

† בהקלטה הקצרה ביותר, Freed המשיך להקליט אחרי Stop ולא הפיק תמליל או רשומה, בשני ניסיונות. Freed מדורג על 12 ההקלטות האחרות.

שגיאת תמליל משמעותית היא שגיאה שמעריך עיוור קבע שהיא עלולה להטעות מטפל: תרופה, מינון, מספר, צד או תסמין שגויים, שלילה או דגל אדום שאבדו, או תוכן קליני שהושמט. שיעור שגיאות המילים סופר כל מילה באותו משקל, כולל מילות מילוי.

הבדיקה החוזרת אחרי ניתוח הלסת התנהלה ברובה במנדרינית. כל סקרייב הורץ עליה כששפת הקלט מוגדרת למנדרינית, אם יש בו הגדרה כזו. Heidi עשה הכי מעט שגיאות תמליל משמעותיות בהקלטה הזו (2), אחריו Hanah (5) ו-CliniScripts (6). Freed עשה 10, PatientNotes 12, Lyrebird 14, ו-Arlo ו-Preve 18 כל אחד. ל-Arlo ול-Preve אין הגדרת שפת קלט, ו-Freed מזהה את השפה בעצמו.

לפי מפגש

הפרטים הקליניים שנכללו, ומתחתם מספר סימוני ההזיה החמורה. בחרו מפגש כדי לקרוא כל רשומה וכל ציון.

מפגשHanahHeidiCliniScriptsLyrebirdFreedPatientNotesArloPreve
הכתבת חפיפה בטיפול נמרץ 100%ללא הזיה חמורה 100%ללא הזיה חמורה 100%ללא הזיה חמורה 100%ללא הזיה חמורה 100%ללא הזיה חמורה 83%3 הזיות חמורות 83%הזיה חמורה אחת אין רשומה
הכתבת חפיפה בטיפול נמרץ, עם רעש מחלקה 100%ללא הזיה חמורה 100%ללא הזיה חמורה 100%ללא הזיה חמורה 92%הזיה חמורה אחת 75%הזיה חמורה אחת 83%2 הזיות חמורות 83%הזיה חמורה אחת אין רשומה
ביקור בית של אחות קהילה 100%ללא הזיה חמורה 100%ללא הזיה חמורה 86%הזיה חמורה אחת 100%ללא הזיה חמורה 100%ללא הזיה חמורה 64%ללא הזיה חמורה 93%הזיה חמורה אחת 93%2 הזיות חמורות
דיאטן, מעקב IBS 100%ללא הזיה חמורה 100%ללא הזיה חמורה 100%הזיה חמורה אחת 92%הזיה חמורה אחת 100%ללא הזיה חמורה 83%2 הזיות חמורות 100%ללא הזיה חמורה 92%4 הזיות חמורות
כאבי ברך, מפגש קצר 83%ללא הזיה חמורה 83%ללא הזיה חמורה 83%ללא הזיה חמורה 83%ללא הזיה חמורה אין רשומה 100%ללא הזיה חמורה 100%ללא הזיה חמורה אין רשומה
פריהאב לפני החלפת ברך 100%ללא הזיה חמורה 88%ללא הזיה חמורה 100%ללא הזיה חמורה 100%הזיה חמורה אחת 100%הזיה חמורה אחת 100%הזיה חמורה אחת 100%ללא הזיה חמורה 88%הזיה חמורה אחת
מיותרפיה, 50 דקות בחדר רועש 100%ללא הזיה חמורה 88%ללא הזיה חמורה 56%ללא הזיה חמורה 100%ללא הזיה חמורה 81%הזיה חמורה אחת 88%הזיה חמורה אחת 81%הזיה חמורה אחת 100%ללא הזיה חמורה
ריפוי בעיסוק, הערכת בטיחות בבית 100%ללא הזיה חמורה 100%הזיה חמורה אחת 100%ללא הזיה חמורה 100%הזיה חמורה אחת 100%ללא הזיה חמורה 86%3 הזיות חמורות 93%הזיה חמורה אחת 100%7 הזיות חמורות
ילד עם אסתמה, הורה עם אנגלית מוגבלת 100%ללא הזיה חמורה 86%הזיה חמורה אחת 100%ללא הזיה חמורה 100%הזיה חמורה אחת 100%ללא הזיה חמורה 93%3 הזיות חמורות 93%2 הזיות חמורות 71%4 הזיות חמורות
בדיקה חוזרת אחרי ניתוח לסת, במנדרינית ובאנגלית 81%3 הזיות חמורות 84%ללא הזיה חמורה 84%2 הזיות חמורות 66%4 הזיות חמורות 62%2 הזיות חמורות 47%11 הזיות חמורות 6%2 הזיות חמורות 22%3 הזיות חמורות
נפילה מטרקטורון, בחוץ 86%ללא הזיה חמורה 86%הזיה חמורה אחת 100%2 הזיות חמורות 86%הזיה חמורה אחת 79%הזיה חמורה אחת 64%3 הזיות חמורות 71%הזיה חמורה אחת 64%3 הזיות חמורות
פריהאב לברך אחרי רוגבי 67%ללא הזיה חמורה 83%ללא הזיה חמורה 100%ללא הזיה חמורה 100%הזיה חמורה אחת 50%ללא הזיה חמורה 33%2 הזיות חמורות 100%הזיה חמורה אחת 100%ללא הזיה חמורה
פציעת המסטרינג ברוגבי, בצד המגרש 93%ללא הזיה חמורה 93%הזיה חמורה אחת 93%הזיה חמורה אחת 86%ללא הזיה חמורה 86%ללא הזיה חמורה 93%הזיה חמורה אחת 71%2 הזיות חמורות 79%ללא הזיה חמורה

כל רשומה, תמליל וציון

בחרו מפגש וסקרייב. אפשר להשמיע את ההקלטה, לקרוא את תמליל הייחוס ולראות כל הכרעה ברשימת הבדיקה וכל סימון הזיה, עם הנימוק שניתן לו.

טוען…

איך המבחן הורץ

ההקלטות

13 ההקלטות הן קורפוס הדיוק של Hanah, אותה קבוצה שעומדת מאחורי תוצאות הגרסאות בעמוד השקיפות שלנו. הן כוללות הכתבת חפיפה בטיפול נמרץ עם רעש מחלקה ובלעדיו, מפגשים בפיזיותרפיה, בתזונה קלינית, בריפוי בעיסוק, במיותרפיה ובסיעוד קהילתי, ילד עם אסתמה שההורה שלו דובר אנגלית מוגבלת, נפילה מטרקטורון שהוקלטה בחוץ, מפגש מיותרפיה של 50 דקות עם כשבע דקות של דיבור בחדר טיפולים רועש, ובדיקה חוזרת אחרי ניתוח לסת שנאמרה ברובה במנדרינית. לכל הקלטה יש תמליל ייחוס מילה במילה ורשימת בדיקה של הפרטים שרשומה חייבת לכלול.

הקלטה

כל סקרייב הורץ באפליקציית הרשת שלו ב-Chrome, מחובר לחשבון רגיל. ההקלטה הושמעה דרך כניסת המיקרופון של הדפדפן, אותו קובץ לכל סקרייב. אחרי ההקלטה, הפרומפטים של כל הקלטה הוקלדו מילה במילה לתכונת המסמכים או הצ׳אט של הסקרייב, למשל "Generate SOAP notes please" ו-"Summarise this consult in two sentences for a referral letter". כל סקרייב הורץ פעם אחת על כל הקלטה ב-6 באוקטובר 2026, ו-Arlo ב-20 באוקטובר 2026, עם אנגלית כשפת הקלט כשהסקרייב מבקש לבחור שפה. בבדיקה החוזרת במנדרינית, סקרייבים עם הגדרת שפת קלט הוגדרו למנדרינית: Heidi ל-English and Chinese (Mandarin), ו-Lyrebird ו-PatientNotes ל-Chinese (Mandarin, Simplified). CliniScripts לא הפיק תמליל כשנבחרו סינית ואנגלית, בשני ניסיונות, ולכן נעשה שימוש בהגדרה הרגילה שלו. ל-Arlo אין הגדרת שפת קלט. Arlo בונה מסמכים מתבניות שמורות ולא מתיבת טקסט חופשי, ולכן כל פרומפט הוקלד מילה במילה למחולל התבניות של Arlo, והתבנית שנבנתה שימשה בלי עריכה.

דירוג בידי פאנל של Claude

הרשומות דורגו בידי Claude, המודל של Anthropic. בכל הקלטה, הפלט של כל סקרייב עורבב והוסתר מאחורי אות, בלי שמות המוצרים, ודורג מול תמליל הייחוס לפי מחוון קבוע. כל פריט ברשימת הבדיקה מסומן כן, חלקית או לא. כל טענה שהתמליל לא תומך בה נרשמת כסימון הזיה: חמורה, כשהיא עלולה לשנות את הטיפול או להציג את התמונה הקלינית באופן שגוי (תסמין, ממצא, תרופה, אבחנה או תוכנית שהומצאו, או צד או שם תרופה שגויים), וקלה בכל מקרה אחר. ב-20 באוקטובר 2026, כש-Arlo נוסף, הרשומות והתמלילים של כל הסקרייבים דורגו שוב יחד באותן חבילות עיוורות, כך שכל השמונה דורגו בידי אותו מדרג. הזהויות נחשפו רק אחרי שכל ההקלטות דורגו. המחוון המלא נמצא במתודולוגיה שלנו.

שגיאות תמליל

כל תמליל יושר מילה במילה מול תמליל הייחוס. הבדלים במילות מילוי לא נספרו, ו-Claude שפט כל הבדל שנותר באופן עיוור, לפי הכלל שלמעלה לגבי מה הופך שגיאת תמליל למשמעותית. שיעור שגיאות המילים מחושב בקוד עם אותו נרמול מחמיר כמו בדוחות הגרסאות שלנו, והוא מתייחס לצורות כתיבה שוות ערך כאל אותן מילים: 22 mm ו-22 millimetres, איות אמריקאי ובריטי, ספרות סיניות וערביות, ותווים סיניים מפושטים ומסורתיים. סינית נספרת לפי תו.