מבחן השוואתי
מבחן השוואתי לסקרייבים מבוססי AI: Hanah ושבעה סקרייבים נוספים
הורץ ב-6 באוקטובר 2026; Arlo נוסף וכל הרשומות דורגו מחדש ב-20 באוקטובר 2026 · 13 מפגשים מוקלטים · 8 סקרייבים מבוססי AI
השמענו את אותם 13 מפגשים מוקלטים ל-Hanah, Heidi, Lyrebird, Freed, PatientNotes, CliniScripts, Preve ו-Arlo, ואז דירגנו כל רשומה מול מה שנאמר בפועל. כל תמליל, רשומה וציון מתפרסמים בעמוד הזה, עם הנימוק לכל אחד מהם.
92%
מהרשומות של Hanah ללא סימוני הזיה משמעותית
הממוצע של שבעת הסקרייבים האחרים היה 42%.
61% פחות
שגיאות תמלול משמעותיות קלינית
0.85 למפגש לעומת ממוצע של 2.17.
13% יותר
פרטים קליניים נדרשים שנכללו
93.1% לעומת ממוצע של 82.3%.
תוצאות
הסקרייבים מסודרים לפי שיעור הפרטים הקליניים הנדרשים שהרשומות שלהם כללו. לכל סקרייב נבדקה הרשומה שהפיק לפרומפט הראשון של כל הקלטה.
| סקרייב AI |
פרטים קליניים שנכללו |
רשומות עם כל הפרטים הקליניים |
סימוני הזיה משמעותית לרשומה |
סימוני הזיה חמורה, כל הרשומות |
סימוני הזיה חמורה למסמך, כולל סיכומים ומכתבים |
סימוני הזיה חמורה, כולל סיכומים ומכתבים |
רשומות ללא סימון של הזיה חמורה |
שגיאות תמלול משמעותיות למפגש |
שיעור שגיאות המילים, מפגשים באנגלית |
| Hanah13 רשומות |
93.1% |
62% |
0.23 |
3 |
0.17 |
4 |
92% |
0.85 |
1.6% |
| Heidi13 רשומות |
91.4% |
38% |
0.31 |
4 |
0.22 |
5 |
69% |
1.08 |
3.3% |
| CliniScripts13 רשומות |
90.8% |
62% |
0.54 |
7 |
0.35 |
8 |
62% |
1.08 |
2.1% |
| Lyrebird13 רשומות |
89.7% |
54% |
0.85 |
11 |
0.74 |
17 |
38% |
2.08 |
3.4% |
| Freed†12 רשומות |
84.5% |
50% |
0.50 |
6 |
0.43 |
9 |
58% |
1.67 |
19.4% |
| PatientNotes13 רשומות |
75.3% |
15% |
2.46 |
32 |
2.43 |
56 |
15% |
2.38 |
3.9% |
| Arlo13 רשומות |
72.4% |
31% |
1.00 |
13 |
1.04 |
24 |
23% |
3.62 |
5.2% |
| Preve*10 רשומות |
72.2% |
30% |
2.40 |
24 |
2.40 |
24 |
30% |
3.31 |
6.7% |
| ממוצע שבעת האחרים |
82.3% |
40% |
1.15 |
13.9 |
1.09 |
20.4 |
42% |
2.17 |
6.3% |
שגיאת תמליל משמעותית היא שגיאה שמעריך עיוור קבע שהיא עלולה להטעות מטפל: תרופה, מינון, מספר, צד או תסמין שגויים, שלילה או דגל אדום שאבדו, או תוכן קליני שהושמט. שיעור שגיאות המילים סופר כל מילה באותו משקל, כולל מילות מילוי.
הבדיקה החוזרת אחרי ניתוח הלסת התנהלה ברובה במנדרינית. כל סקרייב הורץ עליה כששפת הקלט מוגדרת למנדרינית, אם יש בו הגדרה כזו. Heidi עשה הכי מעט שגיאות תמליל משמעותיות בהקלטה הזו (2), אחריו Hanah (5) ו-CliniScripts (6). Freed עשה 10, PatientNotes 12, Lyrebird 14, ו-Arlo ו-Preve 18 כל אחד. ל-Arlo ול-Preve אין הגדרת שפת קלט, ו-Freed מזהה את השפה בעצמו.
איך המבחן הורץ
ההקלטות
13 ההקלטות הן קורפוס הדיוק של Hanah, אותה קבוצה שעומדת מאחורי תוצאות הגרסאות בעמוד השקיפות שלנו. הן כוללות הכתבת חפיפה בטיפול נמרץ עם רעש מחלקה ובלעדיו, מפגשים בפיזיותרפיה, בתזונה קלינית, בריפוי בעיסוק, במיותרפיה ובסיעוד קהילתי, ילד עם אסתמה שההורה שלו דובר אנגלית מוגבלת, נפילה מטרקטורון שהוקלטה בחוץ, מפגש מיותרפיה של 50 דקות עם כשבע דקות של דיבור בחדר טיפולים רועש, ובדיקה חוזרת אחרי ניתוח לסת שנאמרה ברובה במנדרינית. לכל הקלטה יש תמליל ייחוס מילה במילה ורשימת בדיקה של הפרטים שרשומה חייבת לכלול.
הקלטה
כל סקרייב הורץ באפליקציית הרשת שלו ב-Chrome, מחובר לחשבון רגיל. ההקלטה הושמעה דרך כניסת המיקרופון של הדפדפן, אותו קובץ לכל סקרייב. אחרי ההקלטה, הפרומפטים של כל הקלטה הוקלדו מילה במילה לתכונת המסמכים או הצ׳אט של הסקרייב, למשל "Generate SOAP notes please" ו-"Summarise this consult in two sentences for a referral letter". כל סקרייב הורץ פעם אחת על כל הקלטה ב-6 באוקטובר 2026, ו-Arlo ב-20 באוקטובר 2026, עם אנגלית כשפת הקלט כשהסקרייב מבקש לבחור שפה. בבדיקה החוזרת במנדרינית, סקרייבים עם הגדרת שפת קלט הוגדרו למנדרינית: Heidi ל-English and Chinese (Mandarin), ו-Lyrebird ו-PatientNotes ל-Chinese (Mandarin, Simplified). CliniScripts לא הפיק תמליל כשנבחרו סינית ואנגלית, בשני ניסיונות, ולכן נעשה שימוש בהגדרה הרגילה שלו. ל-Arlo אין הגדרת שפת קלט. Arlo בונה מסמכים מתבניות שמורות ולא מתיבת טקסט חופשי, ולכן כל פרומפט הוקלד מילה במילה למחולל התבניות של Arlo, והתבנית שנבנתה שימשה בלי עריכה.
דירוג בידי פאנל של Claude
הרשומות דורגו בידי Claude, המודל של Anthropic. בכל הקלטה, הפלט של כל סקרייב עורבב והוסתר מאחורי אות, בלי שמות המוצרים, ודורג מול תמליל הייחוס לפי מחוון קבוע. כל פריט ברשימת הבדיקה מסומן כן, חלקית או לא. כל טענה שהתמליל לא תומך בה נרשמת כסימון הזיה: חמורה, כשהיא עלולה לשנות את הטיפול או להציג את התמונה הקלינית באופן שגוי (תסמין, ממצא, תרופה, אבחנה או תוכנית שהומצאו, או צד או שם תרופה שגויים), וקלה בכל מקרה אחר. ב-20 באוקטובר 2026, כש-Arlo נוסף, הרשומות והתמלילים של כל הסקרייבים דורגו שוב יחד באותן חבילות עיוורות, כך שכל השמונה דורגו בידי אותו מדרג. הזהויות נחשפו רק אחרי שכל ההקלטות דורגו. המחוון המלא נמצא במתודולוגיה שלנו.
שגיאות תמליל
כל תמליל יושר מילה במילה מול תמליל הייחוס. הבדלים במילות מילוי לא נספרו, ו-Claude שפט כל הבדל שנותר באופן עיוור, לפי הכלל שלמעלה לגבי מה הופך שגיאת תמליל למשמעותית. שיעור שגיאות המילים מחושב בקוד עם אותו נרמול מחמיר כמו בדוחות הגרסאות שלנו, והוא מתייחס לצורות כתיבה שוות ערך כאל אותן מילים: 22 mm ו-22 millimetres, איות אמריקאי ובריטי, ספרות סיניות וערביות, ותווים סיניים מפושטים ומסורתיים. סינית נספרת לפי תו.