טכנולוגיית בריאות מבוססת AI צריכה להיות שקופה. רובה לא.

עיקרי הדברים

• טענת דיוק מועילה רק כשאפשר לבדוק את שיטת הניקוד ואת השגיאות שמאחוריה.
• ההערכה ההיסטורית הזו דיווחה על שלוש טעויות ב-106 בדיקות; היא תמונת מצב של אותה הרצה.
• AI קליני צריך דיווח כן על כשלים, לא רק על שיפורים, ומטפלים עדיין צריכים לבדוק את הפלט שלו.

טכנולוגיית בריאות מבוססת AI צריכה להיות שקופה. רובה לא.

אז הנה משהו שרוב החברות במצב שלנו לעולם לא היו מעלות על הכתב: Hanah לא עוברת את המבחנים ההשוואתיים הפנימיים שלנו בדיוק מושלם. בהרצת ההערכה האחרונה שלנו, ב-106 בדיקות, היא עשתה 3 טעויות. כואב לי לפרסם את זה, ובדיוק בגלל זה אני מפרסם את זה.

כל אינסטינקט שספר החוקים המסורתי של התוכנה מחדיר במייסד אומר לקבור את המספר הזה. ואם לקבור אותו מרגיש לא ישר מדי, תמיד יש את האפשרות הרכה יותר: לייפות אותו. מרופפים את שיטת הניקוד. בוחרים סט מקרי בדיקה ידידותי יותר. בוחרים את מדד הדיוק שמחמיא לכם, מנרמלים החוצה את השגיאות שנספרות נגדכם, ומסדרים בשקט את תמלילי הייחוס עד שהפער נעלם. יש תריסר דרכים מכובדות למראה להפוך 97% אמיתיים ל-100% שיווקיים. אנחנו מכירים את כולן, ובדיוק בגלל זה אנחנו מסרבים להשתמש באף אחת מהן.

מספר שאי אפשר לשחזר הוא לא מבחן השוואתי

זה שיווק בחלוק מעבדה. ברגע שהיינו מרשים לעצמנו לכוונן בשקט את הניקוד עד שהתוצאה נראית טוב, המבחן היה מפסיק למדוד את המוצר ומתחיל למדוד את הנכונות שלנו להחמיא לעצמנו. לזה אין שום ערך למטפל שמחליט אם לסמוך על הכלי מול מטופל.

אז אנחנו מחזיקים את הקו בכיוון ההפוך. שיעור שגיאות המילים שלנו מנוקד בקפדנות ובשקיפות, על קורפוס עם גרסאות, והשיטה כולה מוצגת בדף המבחן ההשוואתי שלנו לאוסטרליה: קראו אותו ובדקו את החישובים שלנו. אנחנו לא עורכים תמלילים ידנית כדי להוריד אותו, ולא משתמשים בנרמול מקל כדי שבוע רע ייראה כמו שבוע טוב. כשהמספר זז, הוא זז כי המוצר באמת השתנה, לטובה או לרעה, ואנחנו יכולים להצביע על הסיבה.

טכנולוגיית בריאות היא לא תוכנת פרודוקטיביות

ההבחנה הזו חשובה כאן יותר כמעט מבכל מקום אחר, כי המחיר של טעות אינו סימטרי.

Hanah היא לא אפליקציה לניהול פרויקטים, שבה השלמה אוטומטית גרועה עולה למישהו כמה שניות. היא אפילו לא פלטפורמת ממשל או ציות, קטגוריית ה-GRC בסגנון Delve שכל תפקידה הוא שיסמכו עליה, שבה התרחיש הגרוע הוא ביקורת שנכשלה ורבעון מביך. זו רשומה קלינית. היא יושבת בין מטפל למטופל, בדיוק בנקודה שבה שגיאה שקטה יכולה לחלחל להחלטה על הטיפול של מישהו.

"Fake it till you make it" הוא מוטו טוב לגמרי לאפליקציה לשיתוף תמונות. בטכנולוגיית בריאות זו רשלנות שמתחפשת לשאפתנות. הסיכון לא סולח על הרברבנות.

איך נראית אחריותיות בפועל

זו לא סיסמה בדף מחירים. אצלנו זה אומר כמה התחייבויות קונקרטיות ולא נוחות:

• אנחנו מודדים את עצמנו מול מבחן השוואתי קבוע ומחמיר ומפרסמים את המתודולוגיה המלאה, כך שאפשר לבדוק את המספר ולא רק להאמין לו.
• כל פלט נבדק ונחתם על ידי מטפל לפני שהוא נכנס לרשומה: האדם הוא קו ההגנה האחרון, בתכנון מראש ולא כמחשבה שנייה.
• כשאנחנו טועים, אנחנו מעדיפים לספר לכם איפה, ולא לחכות שתגלו בעצמכם. 3 הטעויות האלה הן לא הערת שוליים שאנחנו מקווים שתדלגו עליה. הן כל העניין.

אנחנו מעדיפים להראות לכם 97% כנים מאשר למכור לכם 100% מפוברקים.

האמת הלא נוחה היא ששקיפות קיצונית היא חיסרון תחרותי, עד הרגע שבו היא הופכת לדבר היחיד שמישהו סומך עליו. בתחום שבו כולם טוענים שהם מדויקים ואף אחד לא מראה את החישובים, להיות החברה שמראה את החישובים זו לא זווית שיווקית. זה המוצר.

אנחנו חושבים ששאר התעשייה צריכה להימדד באותה דרך: בגלוי, באופן שניתן לשחזור, וכולל הפעמים שבהן היא לא עומדת ביעד. אנחנו שמחים להיות הראשונים.

שאלות נפוצות

האם הפוסט הזה מדווח על המבחן ההשוואתי האחרון?

הוא מתאר את ההערכה שפורסמה עם המאמר הזה. להרצות חדשות יותר ולשיטות שלהן, ראו את דוחות הדיוק העדכניים.

למה לפרסם שגיאות ולא רק נתון דיוק?

אחוז בכותרת מסתיר את מה שהשתבש. פרסום השיטה והכשלים מאפשר לקוראים להעריך את המשמעות של התוצאה ואת המגבלות שלה.

האם מבחן השוואתי טוב מבטל את הצורך לבדוק רשומות?

לא. מבחן השוואתי הוא מדגם של ביצועים, ו-AI עדיין יכול להשמיט או להמציא מידע. המטפל צריך לבדוק כל טיוטה.