מבחן השוואתי
מבחן השוואתי לסקרייבים: Hanah ועוד שישה סקרייבי AI
הורץ ב-6 באוקטובר 2026 · 13 מפגשים מוקלטים · 7 סקרייבי AI
השמענו את אותם 13 מפגשים מוקלטים ל-Hanah, Heidi, Lyrebird, Freed, PatientNotes, CliniScripts ו-Preve, ואז דירגנו כל רשומה מול מה שנאמר בפועל. כל תמליל, רשומה וציון מתפרסמים בעמוד הזה, עם הנימוק לכל אחד מהם.
100%
מהרשומות של Hanah ללא סימוני הזיה משמעותית
הממוצע של ששת הסקרייבים האחרים היה 48%.
66% פחות
שגיאות תמלול משמעותיות קלינית
0.59 למפגש, לעומת ממוצע של 1.75.
11% יותר
פרטים קליניים נדרשים שנכללו
93.7%, לעומת ממוצע של 84.2%.
תוצאות
הסקרייבים מסודרים לפי שיעור הפרטים הקליניים הנדרשים שהרשומות שלהם כללו. לכל סקרייב נבדקה הרשומה שהפיק לפרומפט הראשון של כל הקלטה.
| סקרייב AI |
פרטים קליניים שנכללו |
רשומות עם כל הפרטים הקליניים |
סימוני הזיה משמעותית לרשומה |
רשומות ללא סימון של הזיה חמורה |
שגיאות תמלול משמעותיות למפגש |
שיעור שגיאות המילים, מפגשים באנגלית |
| Hanah13 רשומות |
93.7% |
62% |
0.00 |
100% |
0.59 |
1.6% |
| Heidi13 רשומות |
91.4% |
38% |
0.23 |
77% |
1.15 |
3.3% |
| CliniScripts13 רשומות |
90.8% |
62% |
0.23 |
77% |
0.69 |
2.1% |
| Lyrebird13 רשומות |
90.2% |
46% |
0.62 |
62% |
1.92 |
3.4% |
| Freed†12 רשומות |
85.7% |
42% |
0.83 |
33% |
1.25 |
19.4% |
| PatientNotes13 רשומות |
74.7% |
15% |
2.77 |
8% |
1.92 |
3.9% |
| Preve*10 רשומות |
72.2% |
30% |
1.10 |
30% |
3.54 |
6.7% |
| ממוצע ששת האחרים |
84.2% |
39% |
0.96 |
48% |
1.75 |
6.4% |
שגיאת תמליל משמעותית היא שגיאה שמעריך עיוור קבע שהיא עלולה להטעות מטפל: תרופה, מינון, מספר, צד או תסמין שגויים, שלילה או דגל אדום שאבדו, או תוכן קליני שהושמט. שיעור שגיאות המילים סופר כל מילה באותו משקל, כולל מילות מילוי.
הבדיקה החוזרת אחרי ניתוח הלסת נאמרה ברובה במנדרינית. כל סקרייב הורץ עליה כששפת הקלט מוגדרת למנדרינית, אם יש לו הגדרה כזו. ל-Heidi היו הכי מעט שגיאות תמליל משמעותיות בה (3 בכל אחת משלוש הרצות), אחריו CliniScripts (4) ו-Hanah (4 עד 5 בשלוש הרצות). ל-PatientNotes היו 9, ל-Freed 7, ל-Lyrebird 14 ול-Preve 24. ל-Preve אין הגדרת שפת קלט, ו-Freed מזהה את השפה בעצמו.
איך המבחן הורץ
ההקלטות
13 ההקלטות הן קורפוס הדיוק של Hanah, אותה קבוצה שעומדת מאחורי תוצאות הגרסאות בעמוד השקיפות שלנו. הן כוללות הכתבת חפיפה בטיפול נמרץ עם רעש מחלקה ובלעדיו, מפגשים בפיזיותרפיה, בתזונה קלינית, בריפוי בעיסוק, במיותרפיה ובסיעוד קהילתי, ילד עם אסתמה שההורה שלו דובר אנגלית מוגבלת, נפילה מטרקטורון שהוקלטה בחוץ, מפגש מיותרפיה של 50 דקות עם כשבע דקות של דיבור בחדר טיפולים רועש, ובדיקה חוזרת אחרי ניתוח לסת שנאמרה ברובה במנדרינית. לכל הקלטה יש תמליל ייחוס מילה במילה ורשימת בדיקה של הפרטים שרשומה חייבת לכלול.
הקלטה
כל סקרייב הורץ באפליקציית הרשת שלו ב-Chrome, מחובר לחשבון רגיל. ההקלטה הושמעה דרך כניסת המיקרופון של הדפדפן, אותו קובץ לכל סקרייב. אחרי ההקלטה, הפרומפטים של כל הקלטה הוקלדו מילה במילה בכלי המסמכים או הצ׳אט של הסקרייב, למשל "Generate SOAP notes please" ו-"Summarise this consult in two sentences for a referral letter". כל סקרייב הורץ פעם אחת לכל הקלטה ב-6 באוקטובר 2026, עם אנגלית כשפת הקלט אם הסקרייב מבקש לבחור. לבדיקה החוזרת במנדרינית, סקרייבים עם הגדרת שפת קלט הוגדרו למנדרינית: Heidi לאנגלית וסינית (מנדרינית), Lyrebird ו-PatientNotes לסינית (מנדרינית, מפושטת). CliniScripts לא הפיק תמליל כשנבחרו סינית ואנגלית, בשני ניסיונות, ולכן נעשה שימוש בהגדרה הסטנדרטית שלו. Heidi ו-Hanah הריצו את הבדיקה החוזרת במנדרינית שלוש פעמים כל אחד, ותוצאות התמליל שלהם הן ממוצע.
דירוג בידי פאנל של Claude
הרשומות דורגו על ידי Claude, המודל של Anthropic. בכל הקלטה, הפלט של כל סקרייב עורבב והוסתר מאחורי אות, בלי שמות מוצרים, ודורג מול תמליל הייחוס לפי מחוון קבוע. כל פריט ברשימת הבדיקה מסומן כן, חלקית או לא. כל טענה שהתמליל אינו תומך בה נרשמת כסימון הזיה: חמורה כשהיא עלולה לשנות את הטיפול או להציג את התמונה הקלינית באופן שגוי (תסמין, ממצא, תרופה, אבחנה או תוכנית מומצאים, או צד או שם תרופה שגויים), וקלה בכל מקרה אחר. העיוורון הוסר רק אחרי שכל ההקלטות דורגו. המחוון המלא מופיע במתודולוגיה שלנו.
שגיאות תמליל
כל תמליל יושר מילה במילה מול תמליל הייחוס. הבדלים במילות מילוי לא נספרו, ו-Claude שפט כל הבדל שנותר באופן עיוור, לפי הכלל שלמעלה לגבי מה הופך שגיאת תמליל למשמעותית. שיעור שגיאות המילים מחושב בקוד עם אותו נרמול מחמיר כמו בדוחות הגרסאות שלנו, והוא מתייחס לצורות כתיבה שוות ערך כאל אותן מילים: 22 mm ו-22 millimetres, איות אמריקאי ובריטי, ספרות סיניות וערביות, ותווים סיניים מפושטים ומסורתיים. סינית נספרת לפי תו.
