מאמר

דיוק לפני הסקה: סקרייב ה-AI שלכם לא אמור להשלים את החסר

עיקרי הדברים

  • Hanah בנויה לשמר את המשמעות, את אי-הוודאות ואת הפרטים הקליניים של המקור, בלי למלא פערים בתוספות סבירות.
  • הבדיקות שפרסמנו כוללות דוגמאות לשמות תרופות ששונו, לצדדים מומצאים של פציעות ולהחלטות טיפול שאף אחד לא דיבר עליהן.
  • בניתוח של הרצות חוזרות מותאמות, ל-Hanah הייתה השונות הנמוכה ביותר מבין כל ששת הסקרייבים שנבדקו, בשגיאות ברשומה, בסימוני הזיה ובזמן הבדיקה המשוער.
  • אלה ממצאים ממבחן השוואתי שהספק הריץ, ולא התחייבות שרשומה מסוימת תהיה נקייה משגיאות. הפלטים המקוריים והחישוב מקושרים בהמשך.

אני רוצה שסקרייב AI יכתוב רשומה ברורה. אני לא רוצה שהוא יהיה יצירתי לגבי מה שקרה במפגש.

ההבחנה הזו נשמעת מובנת מאליה עד שקוראים מספיק רשומות שנוצרו אוטומטית. מודל מזהה דפוס קליני מוכר ומשלים את הסיפור. אבחנה אפשרית הופכת לאבחנה. תרופה מקבלת מינון שאף אחד לא אמר. תוכנית מקבלת את ההדרכה, הבדיקות וההפניות שבדרך כלל מלוות אותה.

התוצאה יכולה להיקרא נפלא. היא גם יכולה להיות שגויה.

ב-Hanah אנחנו מעדיפים במכוון דיוק על פני הסקה. המודל יכול לארגן את המידע ולכתוב אותו בבהירות. הוא לא יכול להתייחס לסבירות קלינית כאל אישור להוסיף עובדות.

פרט סביר אינו עובדה מתועדת

מטפל יכול להסיק משהו תוך כדי הערכת מטופל. זה השיקול הקליני שלו. למערכת תיעוד יש אחריות אחרת: לתעד בנאמנות את מה שהמפגש והמקורות שסופקו מבססים, כולל ההערכה של המטפל ואי-הוודאות שבה.

"אפשרי" חשוב. כך גם "מדווח", "מתוכנן" ו"טרם אושר". הסרה של המילים האלה יכולה לשנות את הרשומה.

יש מודלים שפשוט גרועים בכיבוד הגבול הזה. הם טובים בהפקת סוג הטקסט שבדרך כלל בא אחרי הצגה קלינית מסוימת. היכולת הזו שימושית בכתיבה יוצרת. בתיעוד קליני, מילוי פער בפרט הסביר ביותר הוא כישלון.

הנה דוגמאות מתרחישי הבדיקה המוקלטים במבחן ההשוואתי שפרסמנו. אלה תרחישי מבחן, לא דיווחי מקרה של מטופלים.

"Recent apixaban" לא אומר "התחיל לאחרונה"

הקלטת החפיפה שלנו מהטיפול הנמרץ כוללת את הביטוי "recent apixaban". היא לא מבססת מתי התחילו את התרופה.

בהערכה שתועדה מ-Lyrebird, זה הפך ל-"apixaban (recently commenced)". זו תוספת קטנה עם משמעות מוגדרת: המטופל התחיל לאחרונה ליטול את התרופה. ההקלטה מעולם לא ביססה את זה.

ההערכה של Hanah שמרה על "Recent apixaban". שמירה על רמת הספציפיות המקורית היא התנהגות התיעוד הנכונה. הסקרייב לא צריך לפתור עמימות שהמטפל לא פתר.

באותה הקלטה מוזכרים empagliflozin וחשד לקטואצידוזיס אאוגליקמית. הפלט שתועד מ-PatientNotes החליף את התרופה ב-dapagliflozin. תרופה קרובה היא עדיין התרופה הלא נכונה. Hanah שמרה על התרופה שצוינה ועל אי-הוודאות.

אפשר לעיין בתמליל הייחוס, בפלטי המוצרים ובנימוקי הדירוג.

אלה סוגים שונים של שגיאות. הראשונה מרחיבה ביטוי עמום. השנייה מחליפה תרופה שצוינה בשמה. בשתיהן הרשומה הסופית אומרת משהו שהמקור לא ביסס. פלט לבדו לא מגלה לנו אם הסיבה הייתה בתמלול, באחזור או במודל הניסוח, ולכן הבדיקות שלנו מעריכות גם את התוצאה הסופית וגם את התמליל.

פציעה לא מקבלת צד רק כי התבנית רוצה צד

בתרחיש תאונת הטרקטורון שלנו, המטופל מתאר נחיתה על הכתף ועל הירך. לא מצוין צד.

הרשומה שתועדה מ-Lyrebird ייחסה את הפציעות לכתף ולירך הימניות. PatientNotes ייחס אותן לצד שמאל. המקור לא תומך באף אחד מהם.

PatientNotes גם הוסיף "No immediate imaging or testing required at this time" ו-"No specialist referral indicated currently." ההחלטות האלה לא נדונו בהקלטה. הן אולי נשמעות כמו שורות סבירות ברשומה שרירית-שלדית. זה לא הופך אותן לחלק מהמפגש הזה.

ההקלטה כוללת גם שאלה מורכבת על מכה בראש, אובדן הכרה ותחושת בלבול. המטופל עונה שהוא לא איבד הכרה ושהיה מעט מטולטל לרגע. אסור להרחיב את התשובה הזו לשלילה גורפת של כל חלקי השאלה.

קראו את תמליל תאונת הטרקטורון והרשומות שתועדו.

גם הרשומות שתועדו מ-Hanah לא היו מושלמות. הדירוג שפרסמנו מסמן כוונה לתעד את האירוע שיוחסה לגורם הלא נכון, וניסוח משובש בהמלצות. אני רוצה שגם הכישלונות האלה יהיו גלויים. דיוק הוא משהו שאנחנו בודקים ומשפרים, לא ערך מוחלט שאנחנו מכריזים עליו לגבי עצמנו.

איך אנחנו ניגשים לדיוק ב-Hanah

בנינו את Hanah על בסיס של עקביות, ואז שיפרנו עליו את הדיוק והשלמות. המטרה שלנו היא לשמר בנאמנות את הפרטים הקליניים החשובים, עם שונות מינימלית באיכות מתשובה לתשובה.

אנחנו בונים ומעריכים את Hanah סביב תיעוד נאמן. המטרה היא לשמר את מה שהמטפל והמטופל ביססו, כולל הפרטים ואי-הוודאות שנושאים משמעות קלינית.

המשמעות היא להפריד בין תסמינים מדווחים לממצאים שנצפו, לשמור על ההבדל בין אבחנה אפשרית לאבחנה מאושרת, ולתעד פעולה מוצעת אחרת מפעולה שהושלמה. כתיבה ברורה לא אמורה לשנות בשקט אף אחת מההבחנות האלה.

אנחנו רוצים ש-Hanah תארגן ותסביר את המידע שסופק בלי למלא את הפערים שלו בסיפור קליני טיפוסי. אנחנו שופטים את ההתנהגות הזו על ידי השוואה של הרשומה שנוצרה למקורות שלה, ולא לפי כמה מלוטשת או בטוחה בעצמה היא נשמעת.

זה מאמץ הנדסי ומאמץ הערכה מתמשך. הכישלונות שפרסמנו חשובים לא פחות מהדוגמאות המוצלחות, כי הם מראים איפה המוצר עדיין צריך להשתפר.

בחירת המודל חשובה יותר מהדגמה מלוטשת

אנחנו מעריכים מודלים על עבודת התיעוד שאנחנו באמת צריכים שיעשו. מודל שכותב פרוזה מרשימה אבל שוב ושוב מחזק טענות לא ודאיות אינו מתאים. כך גם מודל שנשמע רהוט מבחינה קלינית אבל משמיט את המספרים, השלילות או ההסתייגויות שהופכים את הרשומה למדויקת.

ציון טוב בטבלת דירוג כללית של מודלים לא מכריע את הבחירה הזו. חשובים לנו התמליל בפועל, ההנחיות, הרשומה שמתקבלת והשגיאות. אנחנו בודקים את המערכת כולה; אנחנו לא מניחים שמודל גדול יותר או אופנתי יותר יתנהג טוב יותר במשימה שלנו.

אותו כלל חל כשמצורפת הנחיה קלינית. הנחיה יכולה לבסס מה מומלץ. היא לא יכולה לבסס שבוצעה בדיקה או שהמטפל הסכים לטיפול. ראיות צריכות להפוך רשומה לקלה יותר להגנה, לא לתת למודל עוד חומר שממנו להמציא את המפגש.

ההרצה החוזרת החדשה: 1.22 שגיאות לרשומה

המבחן ההשוואתי המיוצא הנוכחי מדווח על 1.22 שגיאות לרשומה, כיסוי קליני של 98.1% ו-0.36 סימוני הזיה לרשומה בהרצה החוזרת החדשה של Hanah. אלה התוצאות המצטברות של עשרת המפגשים שהושלמו בה, ולא של תת-הקבוצה המותאמת של שמונה מפגשים שמשמשת בהמשך. השגיאות כוללות השמטות, עובדות שנכללו חלקית וטענות לא מבוססות. לא כולן פרטים מומצאים. ראו את התוצאות המקוריות והגילויים הנאותים.

עקביות חשובה: אותה הקלטה לא אמורה להיות הגרלה

הרצה טובה אחת לא מספיקה. עקביות הייתה הבסיס שעליו בנינו דיוק ושלמות, ואנחנו מודדים את שלושתם בזמן שאנחנו משפרים את Hanah. מטפלים צריכים פלט אמין לאורך מפגשים חוזרים, ובדיקות חוזרות של אותה הקלטה עוזרות לחשוף שונות.

בדקתי את הייצוא הפומבי של המבחן ההשוואתי עם ההרצות החוזרות ב-18 באוקטובר 2026. כדי להשוות דומה לדומה, בחרתי את שמונת המפגשים שבהם יש חמש תצפיות מלאות לכל מוצר בכל שלושת המדדים שבהמשך: 40 תצפיות לכל מוצר, בשישה מוצרים.

לכל מפגש ומוצר חישבתי את סטיית התקן המדגמית בין חמש ההרצות שלו, ואז מיצעתי את שמונה הסטיות האלה. ערכים נמוכים יותר פירושם פחות שונות בין הרצה להרצה באותו מדד. אנחנו משווים חזרות של אותו מפגש לפני המיצוע; אנחנו לא מבלבלים בין הבדלים בין מפגשים קלים לקשים לבין חוסר יציבות.

סקרייב שונות בשגיאות ברשומה שונות בסימוני הזיה שונות בזמן הבדיקה המשוער
Hanah 0.67 שגיאות 0.30 סימונים 8.98 שניות
Heidi 3.28 שגיאות 0.79 סימונים 39.11 שניות
Lyrebird 2.28 שגיאות 1.37 סימונים 29.61 שניות
Freed 2.70 שגיאות 2.23 סימונים 35.76 שניות
CliniScripts 2.43 שגיאות 0.72 סימונים 29.43 שניות
PatientNotes 2.31 שגיאות 1.37 סימונים 32.85 שניות

ל-Hanah הייתה השונות הנמוכה ביותר בין הרצה להרצה בכל שלושת המדדים, מבין כל הסקרייבים בהשוואה המותאמת הזו. זה תומך בטענה מוגדרת לגבי איכות הרשומה ומאמץ התיקון המשוער בבדיקות האלה. אין זה אומר ש-Hanah היא בעלת השונות הנמוכה ביותר בכל מדד אפשרי: שונות בשיעור שגיאות המילים בתמלול היא מדד נפרד, ו-Hanah לא הובילה בו על פני כל נתוני המקרים החוזרים הזמינים.

שגיאות ברשומה כוללות עובדות שהושמטו או נכללו חלקית וטענות לא מבוססות, לפי שיטת הניקוד של המבחן ההשוואתי. זמן הבדיקה הוא הערכה ממודלת של מאמץ הקריאה והתיקון, ולא מדידה בסטופר של מטפלים.

הורידו את התצפיות המותאמות, הסטיות לכל מפגש ושיטת החישוב. המבחן ההשוואתי הרחב כולל מפגשים נוספים ותצפיות לא מלאות; הם לא נכללים בחישוב המותאם הזה. לפרטים על התיעוד והדירוג, ראו את המתודולוגיה של המבחן ההשוואתי. אלה השוואות שהספק הריץ, ולא ניסויים קליניים עצמאיים.

הסטנדרט שלפיו אני רוצה שישפטו אותנו

לכתוב בבהירות. לשמר את הפרטים החשובים. לשמור על אי-הוודאות. לתעד את מה שהמטפל באמת החליט. להקל על בדיקת המקור.

אני מעדיף ש-Hanah תשמיט פרט לא מבוסס מאשר שתשלים את הסיפור בביטחון. רשומה יכולה להיות תמציתית, מאורגנת היטב ושימושית מבחינה קלינית בלי להיות יצירתית לגבי העובדות.

זה מה שדיוק לפני הסקה אומר בשבילי. בגלל זה אנחנו מפרסמים את ההקלטות, הפלטים ונימוקי הדירוג, כולל הטעויות שלנו. אתם צריכים להיות מסוגלים לבדוק אם ההתנהגות שלנו תואמת את המילים שלנו.

שאלות נפוצות

האם דיוק לפני הסקה אומר שה-AI לא יכול לסכם או להסביר?

לא. Hanah יכולה לארגן מידע, לסכם אותו לפי רמת הפירוט שנבחרה ולקשר בין ממצאים מתועדים להערכה שצוינה. הגבול הוא הוספת עובדות לא מבוססות או חיזוק של קביעה זהירה לקביעה נחרצת.

האם הגישה הזו מונעת כל פרט מומצא?

לא. אנחנו בודקים את התמלילים והרשומות שמתקבלים, מפרסמים כישלונות ומצפים ממטפלים לבדוק כל טיוטה לפני שמירתה בתיק.

מה התוצאה של השונות הנמוכה ביותר מכסה?

היא מכסה את שלושת המדדים שבמאמר הזה, על בסיס שמונה מפגשים מותאמים עם חמש תצפיות מלאות לכל מוצר עבור Hanah, Heidi, Lyrebird, Freed, CliniScripts ו-PatientNotes. היא לא מכסה כל מדד, כל מתחרה או כל סביבה קלינית. הקבצים המקושרים להורדה כוללים את התצפיות ואת החישוב.

המקורות שצוטטו במאמר

הערת עדכון: הוסבר שעקביות היא הבסיס שעליו בנינו דיוק ושלמות. תיארנו את הגישה שלנו ברמה כללית וקישרנו דוגמאות מהקורפוס לעמוד המבחן ההשוואתי.

איך אנחנו כותבים, מתעדים מקורות ובודקים מאמרים

  • סקרייב ה-AI המדויק ביותר לרופאים מומחים – מקרים מורכבים ומינוח רפואי

    השוואה בין Hanah, Heidi ו-i-scribe ברשומות קרדיולוגיה ובתמלילים מטיפול נמרץ ומטראומה. אפשר לעיין ברשומות, ברשימות העובדות ובציוני ה-AI, ולראות איך רשומות של מומחים, הכתבה ומכתבים לגורם המפנה משתלבים בעבודה.

  • סקרייב ה-AI הרפואי המדויק ביותר ב-2026

    השמענו את אותם 13 מפגשים מוקלטים לשמונה סקרייבים מבוססי AI ודירגנו כל רשומה, סיכום ותמליל באופן עיוור. Hanah כללה הכי הרבה פרטים קליניים, קיבלה הכי מעט סימוני הזיה חמורה ועשתה הכי מעט שגיאות תמליל משמעותיות מבחינה קלינית.

  • Hanah מול כל השאר: מבחן השוואתי אובייקטיבי ושקוף

    השמענו את אותם 13 מפגשים מוקלטים לשבעה סקרייבים מבוססי AI והערכנו כל רשומה וכל תמליל באופן עיוור. ברשומות של Hanah לא היו סימוני הזיה משמעותית, הן כללו 93.7% מהפרטים הקליניים הנדרשים לעומת ממוצע של 84.2%, ובתמלילים שלה היו 66% פחות שגיאות משמעותיות קלינית. כל תמליל, רשומה וציון מתפרסמים.

לראות את Hanah בקליניקה שלכם.

לתיאום הדגמה