מבחן דיוק השוואתי לסקרייב AI – בריטניה
המתודולוגיה שמאחורי התוצאות האלה, כולל האופן שבו נמדד כל מספר והמגבלות שלו, נמצאת במסמך המתודולוגיה.
מול שישה סקרייבים אחרים מבוססי AI, על אותן הקלטות, הרשומות של Hanah כללו 11% יותר מהפרטים הקליניים הנדרשים בהשוואה לממוצע (93.7% לעומת 84.2%), בלי סימוני הזיה משמעותיים לעומת ממוצע של 0.96 לרשומה, ובתמלילים של Hanah היו 66% פחות שגיאות משמעותיות קלינית. להשוואה המלאה.
מדדים עיקריים
פירוט הכיסוי
הרכב פאנל השופטים
כל פרט מוערך על ידי כל שופט שהוגדר בפאנל. במקרים קשים ההכרעות לא מסכימות, וזה בדיוק האות. הנימוקים של כל שופט מוצגים מילה במילה למטה.
מפגשים
לחיצה על הקלטה פותחת את הפרטים: האודיו המקורי, תמליל הייחוס, מה שצינור ה-STT שמע, כל מסמך שנוצר, וכל הכרעה של כל מודל שפה עם הנימוק שלה.
מתודולוגיה ומקורות
שיעור שגיאות המילים, פאנל שופטים של מודלי שפה, ציפיות שמוגדרות לפי הפרומפט, בדיקת שפיות לכיול, ומפת הדרכים להתקדמות הקורפוס (סינתטי ← משחקי תפקידים ← עולם אמיתי).
לקריאת מסמך המתודולוגיה ←התוצר המלא, הקריא למכונה, שהדף הזה מוצג ממנו. כל מספר בדף אפשר לחשב ישירות מהקובץ הזה.
לנתונים הגולמיים ←הקורפוס, הפרומפטים לשופטים וגרסאות מודלי השופטים מנוהלים כולם בבקרת גרסאות. כל אחד יכול להריץ מחדש את מערך הבדיקה מול אותו commit ולשחזר את המספרים האלה.
לדף הבית של מרכז האמון ←