Hanah מול כל השאר: מבחן השוואתי אובייקטיבי ושקוף
עיקרי הדברים
- בהשוואה של אוקטובר 2026 הושמעו אותם 13 מפגשים לשבעה סקרייבים מבוססי AI, והתוצרים הוערכו מול ההקלטות.
- Hanah כוללת תוכניות תרגילים ביתיות ואפליקציית מטופלים במיתוג הקליניקה, לצד סקרייב ה-AI שלה. המטופלים יכולים לגשת לתוכנית הביתית שסוכמה איתם בין התורים.
- במבחן המדווח, Hanah תיעדה 93.7% מהפרטים הקליניים הנדרשים, בלי אף סימון של הזיה חמורה ברשומות שקיבלו ציון.
- המבחן הורץ על ידי הספק, וזהות המוצרים הוסתרה בזמן ההערכה. מגבלות המדגם והקליטה חשובות לפרשנות התוצאות.
- בדקו את ההקלטות, התוצרים ונימוקי הציונים. תוצאה טובה במבחן השוואתי לא מייתרת את הצורך לבדוק טיוטה קלינית.
השמענו את אותם 13 מפגשים מוקלטים ל-Hanah, ל-Heidi, ל-Lyrebird, ל-Freed, ל-PatientNotes, ל-CliniScripts ול-Preve, ואז הערכנו כל רשומה מול מה שנאמר בפועל. התוצאות המלאות, עם כל תמליל, רשומה וציון, נמצאות בעמוד המבחן ההשוואתי שלנו.
התוצאות
| סקרייב AI | פרטים קליניים שנכללו | סימוני הזיה משמעותית לרשומה | שגיאות תמלול משמעותיות למפגש |
|---|---|---|---|
| Hanah | 93.7% | 0.00 | 0.59 |
| Heidi | 91.4% −2.3% | 0.23 +0.23 | 1.15 +0.56 |
| CliniScripts | 90.8% −2.9% | 0.23 +0.23 | 0.69 +0.10 |
| Lyrebird | 90.2% −3.4% | 0.62 +0.62 | 1.92 +1.33 |
| Freed | 85.7% −8.0% | 0.83 +0.83 | 1.25 +0.66 |
| PatientNotes | 74.7% −19.0% | 2.77 +2.77 | 1.92 +1.33 |
| Preve | 72.2% −21.5% | 1.10 +1.10 | 3.54 +2.95 |
הרשומות של Hanah תיעדו 11% יותר מהפרטים הקליניים הנדרשים בהשוואה לסקרייב AI ממוצע. באף אחת מ-13 הרשומות של Hanah לא היה סימון של הזיה חמורה, ופחות ממחצית הרשומות של הסקרייבים האחרים היו נקיות מסימון כזה. בתמלילים של Hanah היו 66% פחות שגיאות משמעותיות קלינית מהממוצע, ו-76% פחות במפגשים באנגלית. שגיאת תמלול משמעותית קלינית היא שגיאה שעלולה להטעות מטפל: תרופה, מינון, מספר, צד או תסמין שגויים, שלילה או דגל אדום שאבדו, או תוכן קליני שהושמט.
איך נראה סימון של הזיה חמורה
סימון של הזיה חמורה הוא משהו ברשומה שלא נאמר ועלול לשנות את הטיפול. הדוגמאות הבאות לקוחות מהרשומות במבחן ההשוואתי הזה, וכל אחת מהן מפורסמת יחד עם התמליל שממנו היא נלקחה.
- בחפיפה ביחידה לטיפול נמרץ, PatientNotes ציינה dapagliflozin כגורם לקטואצידוזיס של המטופל. המטפל אמר empagliflozin. באותה הכתבה, שהוקלטה עם רעש מחלקה ברקע, PatientNotes רשמה דופק של 91. ה-91 היה ריווי החמצן של המטופל, שהושמט מהרשומה.
- אצל ילד עם אסתמה, PatientNotes כתבה betamethasone במקום ה-dexamethasone שהמטפל אמר, ורשמה ליחה צהובה כשההורה תיאר הקאה צהובה.
- מטופל שנפל מטרקטורון הפך לנפילה מאופניים בסיכום של Heidi ולנפילה מאופנוע ברשומה של Lyrebird. Lyrebird גם מיקמה את הפציעות בצד ימין, דבר שלא נאמר מעולם.
גם תמלילים יכולים להשתבש. במפגש מיותרפיה של 50 דקות, עם כשבע דקות של דיבור בחדר טיפולים רועש, התמליל של Freed מילא את הקטעים השקטים בדיבור שאף אחד לא אמר, כולל "Thank you for watching!" וקטע על ההיסטוריה של עיירה. התמליל של Lyrebird לאותו מפגש כלל Zolmitriptan, תרופה למיגרנה שאף אחד לא הזכיר. בתמליל של Hanah לאותה הקלטה לא היו שגיאות משמעותיות קלינית.
מנדרינית ואנגלית
אחד המפגשים היה מעקב אחרי ניתוח לסת שהתנהל ברובו במנדרינית, עם המונחים הקליניים באנגלית. כל סקרייב שמציע הגדרה של שפת קלט הוגדר למנדרינית עבורו, ו-Heidi ו-Hanah הריצו אותו שלוש פעמים כל אחת.
Heidi תמללה אותו הכי טוב, עם 3 שגיאות משמעותיות קלינית בכל אחת משלוש ההרצות שלה. CliniScripts עשתה 4, ו-Hanah עשתה 4 או 5. השגיאות של Hanah היו מילים קליניות באנגלית שנאמרו בתוך משפטים במנדרינית, למשל "pus" שנכתב "pass" ו-chlorhexidine שנכתב "hexadene". PatientNotes עשתה 9, Freed עשתה 7 ו-Lyrebird עשתה 14. ל-Preve אין הגדרה של שפת קלט, והיא עשתה 24. ברשומה של Hanah מהמעקב הזה עדיין לא היו סימונים של הזיה חמורה.
איך הרצנו את המבחן
ההקלטות הן קורפוס הדיוק של Hanah, אותן 13 הקלטות שעליהן מבוססות תוצאות הגרסאות בעמוד השקיפות שלנו. הן כוללות הכתבות, מפגשי פיזיותרפיה, תזונה קלינית, ריפוי בעיסוק, מיותרפיה וסיעוד בקהילה, ילד שההורה שלו מדבר אנגלית מוגבלת, הקלטה בחוץ ואת המעקב במנדרינית. לכל אחת יש תמליל ייחוס מילה במילה ורשימת בדיקה של מה שהרשומה חייבת לתעד.
כל סקרייב רץ באפליקציית הרשת שלו, עם חשבון רגיל והגדרות ברירת מחדל. אותו קובץ אודיו הוזן לכל סקרייב, ואותם פרומפטים הוקלדו מילה במילה. כל סקרייב רץ פעם אחת לכל הקלטה, ב-6 באוקטובר 2026, מלבד החזרות במנדרינית שתוארו למעלה.
הרשומות הוערכו על ידי Claude, המודל של Anthropic. בכל הקלטה, הרשומות של כל הסקרייבים עורבבו וסומנו באותיות, בלי שמות המוצרים, ואז הוערכו מול תמליל הייחוס לפי מחוון קבוע. האותיות הותאמו בחזרה למוצרים רק אחרי שכל 13 ההקלטות הוערכו. כל תמליל הושווה לייחוס מילה במילה, ו-Claude שפט כל הבדל בלי לדעת מאיזה מוצר הוא הגיע, כדי להחליט אם הוא משמעותי קלינית. המחוון והכללים שמאחורי כל ציון מופיעים במתודולוגיה שלנו.
בדקו בעצמכם
כל ציון בעמוד המבחן ההשוואתי מגיע עם הנימוק שלו. אפשר להשמיע כל הקלטה, לקרוא את תמליל הייחוס ולהשוות אותו למה שכל סקרייב כתב.
שאלות נפוצות
האם זה היה מחקר קליני עצמאי?
לא. זו הייתה השוואה שהורצה על ידי Hanah, וזהות המוצרים הוסתרה בזמן ההערכה. המתודולוגיה והראיות שמאחוריה מקושרות, כדי שהקוראים יוכלו לבחון את התוצאות.
האם אפס סימונים של הזיה חמורה אומר שכל רשומה הייתה מושלמת?
לא. זה אומר שלא נמצאו סימונים חמורים ברשומות של Hanah שקיבלו ציון בהרצה הזו. השמטות ושגיאות אחרות עדיין דורשות תשומת לב, וכל טיוטה דורשת בדיקה.
איפה אפשר לבדוק ציון מסוים?
הראיות של המבחן ההשוואתי מקשרות להקלטות, לתמלילי הייחוס, לתוצרים של המוצרים ולנימוקים שמאחורי הציונים.
המקורות שצוטטו במאמר
- דף המבחן ההשוואתי – hanah.health
- עמוד השקיפות – hanah.health
- המתודולוגיה – hanah.health
- דף המבחן ההשוואתי – hanah.health
הערת עדכון: הודגשו תוכניות התרגילים הביתיות ואפליקציית המטופלים במיתוג הקליניקה בעיקרי הדברים. תאריכי בדיקת המקורות והמבחן ההשוואתי נשארים כפי שמצוין במאמר.