הטמעת AI בקליניקה שלכם: שש שאלות לשאול לפני שחותמים

עיקרי הדברים

• בקשו את העלות המלאה למטפל, כולל אינטגרציות, תבניות ושאר התכונות הנדרשות.
• בדקו היכן מעובדים האודיו, התמלילים והרשומות, לפי פרטי מעבדי המשנה והחוזים בפועל.
• בדקו את שיטות מדידת הדיוק, והפרידו בין מידע שהושמט למידע שהומצא.
• לפני שאתם מתחייבים, בדקו מפגשים רב-לשוניים ונפילות חיבור בתהליך העבודה שלכם.

כל הדגמה של סקרייב רפואי מבוסס AI נראית אותו דבר.

ההבדלים מתגלים מאוחר יותר: שיחה רב-לשונית, הפרדה בין דוברים, חיובים נסתרים על תכונות בסיסיות כמו אינטגרציה עם התוכנה, שקיפות בנתונים, והקלטה במצב לא מקוון למקרה שהקליטה נעלמת בדיוק כשביקור בית מתחיל או שה-wifi בקליניקה נופל.

Hanah בנויה לעולם האמיתי. אלה השאלות שלדעתנו כדאי לשאול כל סקרייב AI בשוק, עם התשובות שלנו בכתב.

1. מה המחיר האמיתי למטפל, כשכל מה שאתם צריכים מופעל?

המספר הבולט בעמוד המחירים הוא רק לעיתים רחוקות מה שקליניקה משלמת בפועל, כי החלקים שהופכים את המוצר לשמיש נמכרים לעיתים קרובות בנפרד. מה שצריך לשים לב אליו הוא החיבור למערכת ניהול הקליניקה (PMS). סקרייב שלא יכול לשמור במערכת הניהול שלכם הוא עוד לשונית והרגל של העתקה והדבקה, כך שאם האינטגרציה נמצאת במסלול גבוה יותר או בשורת תוספת, המחיר המפורסם אף פעם לא היה המחיר.

בדקו את עמוד המחירים וודאו שאתם מקבלים את כל מה שאתם צריכים לשיפור אמיתי בתהליך העבודה. אחרת תחליפו תיעוד בקפיצה בין לשוניות בדפדפן.

אנחנו לא חושבים שזה מוסרי לגבות תוספת על תכונות בסיסיות כמו אינטגרציות למערכת הניהול. המחירים שלנו כוללים מסלול Basic חינמי עם פורטל המטופלים, מרשמי תרגילים ומדדי תוצאה, בלי כרטיס אשראי. מסלול הקליניקה עולה $100 למטפל לחודש ב-AUD, $80 בחיוב שנתי, עם חודש ניסיון בחינם, והמסלול הזה כולל את הסקרייב, הפקת מסמכים, התוסף לדפדפן ואינטגרציות API ל-Cliniko, Halaxy, Nookal ו-Zanda.

2. לאן הנתונים באמת הולכים, כולם?

"ריבונות נתונים" נמכרת בדרך כלל כדגל על מפה, ודגל הוא לא תשובה. מוצר AI שמאזין ברקע הוא שרשרת של חברות: האפליקציה, מסד הנתונים, אחסון האובייקטים, הגיבויים, מנוע זיהוי הדיבור, מודל השפה, שולח האימיילים, ושכבת הקצה שמול כל אלה.

בקשו את מרכז האמון, את כל מעבדי המשנה (צדדים שלישיים שהתוכנה נשענת עליהם), מה כל אחד עושה, אילו קטגוריות של נתונים מגיעות אליו ובאיזו מדינה הוא מעבד אותם. אחר כך שאלו שאלה שנייה, שמבדילה בין ספקים זהירים לספקים בטוחים בעצמם: איזו חוליה בשרשרת יוצאת מהמדינה, ומה עושים בנוגע לזה? כמעט בכל שרשרת יש חוליה כזו. ספק שעונה בפשטות "הכול נשאר בארץ" צריך לקבל שאלות נוספות.

כל אזור של Hanah, אוסטרליה, בריטניה וארה״ב, פועל על שרתים משלו, עם מסד נתונים, אחסון אובייקטים וגיבויים נפרדים. רשומות אף פעם לא מאוחדות בין אזורים. כל אזור מפרסם טבלת מעבדי משנה משלו במרכז האמון שלו, כי התשובות באמת שונות מאזור לאזור.

והנה החוליה הלא-נוחה שלנו, שמפורסמת בעמוד האמון שלנו במקום להשאיר לכם לגלות אותה בסקירת אבטחה: בפריסה האוסטרלית, זיהוי הדיבור בזמן אמת מעובד בארה״ב. האודיו חולף ואינו נשמר אחרי שהתמליל נוצר, התנאים שלנו אוסרים אימון עליו, והתמליל שנוצר נשמר באוסטרליה. ועדיין, זו מסירה חוצת גבולות לפי עיקרון הפרטיות האוסטרלי 8 (Australian Privacy Principle 8), והערכת ההשפעה על הפרטיות שלכם צריכה לציין זאת. אנחנו מעדיפים שתקראו את זה מאיתנו ביום שלישי רגיל, ולא בשאלון בדיקת נאותות בשבוע שלפני החתימה.

בקשו מכל ספק את טבלת מעבדי המשנה. מי שיש לו אותה מוכנה הוא מי שחשב על זה.

3. האם אפשר לשחזר את טענת הדיוק שלהם?

כולם בשוק הזה טוענים שהם מדויקים. כמעט אף אחד לא מפרסם מספר שאפשר לבדוק, ומספר שאי אפשר לשחזר הוא שיווק בחלוק מעבדה. כתבנו על זה ביולי.

נתון שביעות רצון אינו מדידת דיוק. "97% מהמשתמשים מדרגים את הרשומות כמצוינות" מספר לכם איך עבר סקר, לא באיזו תדירות התמליל היה שגוי. כשספק מצטט לכם אחוז, שאלו ארבעה דברים: מול איזה קורפוס זה נמדד, באיזו שיטה זה נוקד, מי העריך, ואיפה ההרצה הקודמת.

השאלה האחרונה היא החשובה ביותר. כל ספק יכול לפרסם רבעון טוב. לפרסם לידו את הרבעון הגרוע זה מה שנותן למספר משמעות. המתודולוגיה שלנו, התוצאות הנוכחיות שלנו (כל תמליל, כל רשומה שנוצרה, כל נימוק של המעריכים) וכל ההרצות הקודמות מפורסמים כולם, בדיוק כפי שנמדדו באותו יום.

4. איזה סוג של טעות המודל שלהם מעדיף?

זו השאלה שכמעט אף אחד לא שואל, וברשומה קלינית היא השאלה שחשובה.

רשומת AI יכולה לטעות בשתי דרכים. היא יכולה להחמיץ משהו שנאמר, או לקבוע משהו שמעולם לא נאמר. שתיהן שגיאות, אבל לא אותה שגיאה. פרט חסר גלוי למטפל שקורא את הטיוטה מול הזיכרון שלו מהמפגש. פרט מומצא, כמו צד, מינון או שלילת תסמינים שמעולם לא נאמרה, נקרא כסביר לגמרי, וזה בדיוק מה שהופך אותו למסוכן ברגע שהוא נחתם ויושב בתיק.

לכן אנחנו מודדים את שניהם בכל סבב הערכה. שיעור שגיאות המילים (WER) מול תמליל ייחוס מילה במילה, ופאנל של מודלי שפה שמעריך את הרשומה שנוצרה פעמיים: כיסוי (האם היא תיעדה כל עובדה שנרשמה מראש?) והזיה (האם יש בה טענה שהתמליל לא תומך בה?).

מדידה של שניהם מכריחה לבחור ביניהם, ואנחנו בחרנו. כשהחלפנו מודלים ביולי, שמנו את הפרטים המומצאים במקום הראשון, והמודל החדש השתפר בשני המדדים: WER ירד מ-5.9% ל-1.6%, הפרטים המומצאים שאומתו ירדו מחמישה לאחד, והעובדות הקליניות שתועדו עלו מ-91.5% ל-94.7%. בהקשר קליני, שלמות לא צריכה לבוא על חשבון דיוק. מטפל יכול להוסיף פרט שהמודל השמיט. הוא לא יכול באמת למחוק מהראש פרט שהמודל המציא.

שאלו את הספק שלכם לאיזה כיוון הוא בחר בפשרה הזו, והאם בכלל מדד אותה.

5. מה קורה כשהמפגש לא מתנהל באנגלית?

קליניקות באוסטרליה ובבריטניה הן רב-לשוניות, והתוכנה שלהן ברובה לא. בקורפוס המבחן ההשוואתי שלנו, שתיים מההקלטות הן של אחות קהילתית בביקור במשק בית דובר וייטנאמית ושל מרפאה בעיסוק במשק בית דובר הינדי. לא כי זה משפר את המספרים, אלא כי קורפוס של דוברי אנגלית בטוחים בעצמם בחדרים שקטים לא היה מלמד אותנו כלום על יום שלישי רגיל בפרברים הצפוניים.

שלושה דברים חשובים כאן, והם נפרדים זה מזה.

• המפגש. Hanah מזהה את השפה המדוברת אוטומטית, בלי שצריך להגדיר אותה מראש, כך שמפגש שעובר בין שפות באמצע משפט מטופל ולא נתקע. למדנו את זה בדרך הקשה: גרסה מוקדמת יותר כללה רשימה קבועה של שפות צפויות, שהטתה בשקט כל מפגש בכל אזור, ובאמירה אחת באנגלית עם מבטא הפיקה שורת פתיחה של ערבית מוזית. הסרנו את הרמזים. זיהוי לבדו עדיף על ניחוש שמוחל על כולם.
• הרשומה. הרשומה הקלינית נכתבת באנגלית, כי זו שפת התיק, וזה המסמך הרפואי-משפטי שהאיגוד המקצועי וחברת הביטוח שלכם מצפים לו.
• העותק של המטופל. זה החלק שמשנה תוצאות. מטופל יכול לבחור שפה מועדפת, אחת מ-38, ותוכניות הטיפול והמסמכים שלו מתורגמים אליה. המקור אף פעם לא משתנה. עותק מתורגם נפרד נוצר ומתעדכן אוטומטית בכל פעם שהמטפל עורך את התוכנית, כך שהגרסה שהמטופל קורא בבית אף פעם לא מתרחקת בשקט מהגרסה שהמטפל כתב. מטפלים גם מציינים בפרופיל שלהם את השפות שהם מדברים, כך שקליניקה יכולה להתאים מטופל לאדם ולא לתרגום.

פער אחד מכוון, כי זה פוסט על שאילת שאלות קשות. Auslan ו-BSL מופיעות ברשימת השפות שלנו למטפלים, אבל אינן נכללות בתכונת התרגום למטופלים, כי תרגום טקסט לא יכול לשרת שפת סימנים, ולהעמיד פנים אחרת היה גרוע יותר מלומר זאת.

6. מה קורה כשה-wifi נופל באמצע המפגש?

כל הדגמה של סקרייב מתרחשת על wifi טוב. קליניקה אמיתית כוללת מרתפים, ביקורי בית, קליניקות כפריות, מסדרונות בבית חולים, ואת חדר הטיפולים האחד בסוף המסדרון שבו הקליטה אף פעם לא עבדה. אם התשובה לשאלה הזו היא משיכת כתפיים, המוצר הוא הדגמה.

הכשל שכולם מדמיינים הוא סמל טעינה שמסתובב. הכשל שבאמת עולה לכם הוא שקט: נראה שההקלטה עבדה, המטפל עבר למטופל הבא, והאודיו נעלם. אי אפשר לשחזר מפגש שכבר התקיים.

Hanah בנויה הפוך. כל הקלטה נכתבת לאחסון המקומי במכשיר בזמן אמת, בדחיסה ללא אובדן, ולא רק כשהחיבור נופל אלא תמיד, כך שהעותק המקומי קיים עוד לפני שצריך אותו. כשהחיבור תקין, מקטעים מתומללים בזמן אמת ומועלים כשהם נסגרים. כשהוא נופל, ההקלטה פשוט ממשיכה לאחסון המקומי, והמקטעים שנקלטו בזמן הנפילה מסומנים להשלמה.

כשהרשת חוזרת, המקטעים האלה מועלים ומתומללים, והתמליל מתמלא. ההעלאות מנסות שוב במרווחים הולכים וגדלים, ואף פעם לא מוותרות, כי השמטת אודיו על סמך ניחוש היא התוצאה היחידה שאי אפשר לתקן. אם הלשונית קורסת או שהדפדפן נסגר באמצע המפגש, ההפעלה הבאה מוצאת את ההקלטה היתומה ומצילה אותה, במקום להתייחס אליה כפסולת שנשארה מאחור. בבדיקות שלנו, מפגש של חמישים דקות שהוקלט במהלך נפילת חיבור מלאה הועלה ותומלל במלואו, כל שמונים מקטעי האודיו שלו, שלוש עשרה שניות אחרי שהמטפל לחץ על עצירה.

בקשו מכל ספק שאתם בוחנים להקליט מפגש במצב טיסה ולהראות לכם את הרשומה אחר כך. זו בדיקה של שתי דקות, וקשה מאוד לזייף אותה.

בקצרה

אין כאן אף שאלה לא הוגנת. הציגו אותן לכל ספק ברשימה הקצרה שלכם, ותנו משקל רב יותר למי שעונה בפרטים מאשר למי שעונה בשמות תואר. אחר כך הריצו ניסיון אמיתי, על מפגשים אמיתיים, לפני שאתם מתחייבים.

אם אתם רוצים לשמוע את התשובות שלנו בפירוט רב יותר, או שאתם חושבים שאחת מהן שגויה, כתבו לי ל-hello@hanah.health.

שאלות נפוצות

מה כדאי לכלול בניסיון של סקרייב AI?

השתמשו בדוגמאות אמיתיות מהתיעוד הרגיל שלכם, כולל אודיו קשה, מפגשים רב-לשוניים והפסקת חיבור. בדקו גם את הטיוטות וגם את העבודה שנדרשת כדי להכניס אותן למערכת הרשומות שלכם.

איך כדאי להשוות טענות דיוק?

בקשו את שיטת הבדיקה, ההקלטות או קורפוס הייחוס, הגדרות השגיאה והתוצאות. השוו השמטות בנפרד מפרטים מומצאים, ובדקו כמה עריכה הרשומה צריכה.

האם המחיר המפורסם מספיק כדי להשוות עלויות?

לא. בדקו איזה מסלול צריך בשביל האינטגרציות, התבניות, המסמכים והשימוש שלכם, ועוד כל תוספת. השוו את העלות של תהליך העבודה המלא.