מתודולוגיית אימות · v1.1

איך אנחנו מודדים דיוק.

דיוק התמלול וההזיות בתיעוד נבדקים כדבר אחד: מערך בדיקה אחד, קורפוס אחד עם גרסאות, הרצה אחת מקצה לקצה לכל הקלטה, ואז הערכה בשתי שכבות משלימות. שכבה A (שיעור שגיאות המילים) מודדת את ביצועי צינור המרת הדיבור לטקסט מול תמליל ייחוס מילה במילה. שכבה B (פאנל שופטים של מודלי שפה) מודדת אם המסמך הקליני שנוצר כלל את העובדות שהוגדרו מראש כחשובות, ואם הוסיף משהו שלא נאמר. ההערכה מפוצלת לשתי שכבות, ולא נדחסת לציון אחד שמסתיר את הפשרות.

שכבה A – WER · פעילה שכבה B – פאנל שופטים של מודלי שפה · פאנל v1 שכבה C – סחיפה סמנטית · מתוכננת

← לתוצאות העדכניות ← להשוואה מול שישה סקרייבים אחרים מבוססי AI ← לנתונים המצרפיים הגולמיים

למה זו מתודולוגיה אחת ולא שתיים

מפתה לפרסם מספר WER ו"שיעור הזיות" נפרד בדפים שונים. אנחנו לא עושים את זה, כי הם חולקים את כל מה שחשוב: אותו אודיו, אותה הרצה מקצה לקצה, אותו קורפוס עם גרסאות, אותו קצב שחרור, ואותה קבוצת בודקים שמאשרת את תמלילי הייחוס. פיצול לשני דפים היה מרמז על שתי תוכניות בלתי תלויות, ובפועל הרצה אחת מפיקה את שני המספרים, ונסיגה באחד מהם מופיעה בדרך כלל גם בשני. כל הקלטה עוברת פעם אחת בצינור הייצור, והתוצרים של אותה הרצה מזינים את כל שכבות ההערכה שלמטה.

1
הקלטה: אודיו + תמליל ייחוס מילה במילה + רשימת עובדות שנרשמה מראש, מקובעים לגרסה במאגר הקוד.
2
הרצה מקצה לקצה: הרשמת מטפל, יצירת מטופל, הקלטה, הפקת מסמכים. אותם נתיבים שמשתמש בסביבת הייצור עובר.
3
שכבה A – WER משווה את התמליל שהתקבל לתמליל הייחוס.
4
שכבה B – פאנל שופטים של מודלי שפה מעריכה את המסמך שנוצר מול רשימת העובדות, באופן אטומי, עובדה אחת בכל קריאה.
5
איחוד ופרסום: קובץ aggregate.json יחיד שממנו מוצג דף השקיפות הציבורי.

הקורפוס

סט קבוע של הקלטות, מקובע לגרסה, שהמתודולוגיה רצה עליו. כל הקלטה מגיעה עם תמליל מילה במילה ועם רשימת עובדות שנכתבה ידנית, של הנקודות הקליניות שצריכות להופיע ברשומה שנוצרה (ושל הנקודות שאסור שיופיעו).

v1 – סינתטי, TTS מכמה ספקים

אודיו סינתטי נשמע מלאכותי, ואנחנו משתמשים בו במכוון. התסריט הוא תמליל הייחוס, כך שהאמת הבסיסית מדויקת ולא קירוב של מתמלל. אפשר לפרסם את כל הקורפוס בית אחר בית לצד דוח האימות, ומבקרים יכולים להריץ מחדש את מערך הבדיקה על אותו קלט ולשחזר את המספרים שפורסמו. מלאכותי לא אומר קל: הקולות הסינתטיים נושאים מבטאים ודפוסי דיבור של אנגלית כשפה שנייה (L2), והאודיו מעורבב עם התנאים שבהם מטפלים מקליטים בפועל: טלוויזיה שפועלת בחדר הסמוך, רעשי רקע בחדר בביקור בית, תנועה ורוח בחוץ.

✅
סריקת מבטאים מכמה ספקים
כל תא של מבטא / קבוצת בדיקה נדגם משני ספקי TTS לפחות (ElevenLabs, OpenAI TTS, Google Cloud TTS, Azure Neural), כך שתוצרי לוואי של ספריית קולות של ספק יחיד מתגלים כאי-הסכמה בין ספקים, במקום להיבלע בשקט במספר הכותרת. הכיסוי כולל אנגלית ניו זילנדית, אוסטרלית, בריטית, אמריקאית, הודית ואנגלית בהשפעה פסיפית, וגם פרופילים של דוברי אנגלית כשפה שנייה, במגוון סוגי תורים במקצועות הבריאות, ברפואה ראשונית ובמרפאות חוץ.
✅
מבטאים ורעשי רקע, שמוספים בכוונה
מטפלים לא מקליטים באולפן, ולכן גם הקורפוס לא. ההקלטות מוקראות בידי דוברי אנגלית עם מבטא ודוברי אנגלית כשפה שנייה, ומעורבבות עם התנאים שבהם מפגשים מתקיימים בפועל: טלוויזיה שפועלת בחדר הסמוך, רעשי רקע בחדר בזמן ביקור בית, תנועה ורוח בחוץ. בהרצה v1 שפורסמה, ל-4 מתוך 10 ההקלטות שדורגו יש תגית של מבטא או של תנאי שמע: 3 עם רעשי רקע (Background TV Noise, Room ambience, Outdoors) ו-3 עם שונות במבטא או בשפה (L2 English, Heavy accent, Code Switching). התגיות האלה נרשמות לכל הקלטה בקורפוס. ההרצה שפורסמה באזור הזה קדמה לפילוח לפי קבוצות, ולכן המחיר שלהן עוד לא מפורט כאן.
✅
רשימת עובדות שנרשמה מראש לכל הקלטה
נכתבת על ידי כותב התסריט ומאושרת על ידי המנהל הקליני (Clinical Lead) לפני שמודל כלשהו שומע את האודיו. שלוש קטגוריות: עובדות חיוביות (חייבות להופיע ברשומה), עובדות שליליות (אסור לטעון אותן בטעות), ונוסח קבוע מותר (ניסוחי בטיחות קליניים שמותרים גם כשהם לא בתמליל). רשימות העובדות מקובעות לגרסה; שינוי מעלה את מספר הגרסה ומפעיל הרצה מחדש.
🟡
מה v1 טוענת ומה היא לא טוענת
v1 מודדת נסיגות, תקינות הצינור מקצה לקצה, יכולת חזרה ושונות STT לכל קבוצת בדיקה, גם בתאי מבטאי האנגלית וגם בתנאי הרעש שעורבבו באודיו. מה ש-v1 לא טוענת הוא אותנטיות: טלוויזיה, רעשי רקע בחדר ורעש חוץ שעורבבו פנימה הם קירוב של חדר טיפולים ולא הקלטה של חדר כזה, ומבטאים סינתטיים אינם תחליף לדוברים אמיתיים. לכן v1 לא טוענת דבר לגבי te reo Māori, מעבר אותנטי בין שפות, שטף דיבור לקוי, דיסארתריה או דיבור של ילדים. הטיה בשכבת מודלי השפה על תוכן אמיתי של קבוצות בדיקה עוברת ל-v2/v3.

מפת הדרכים להתקדמות

גרסה	מקור האודיו	טענת הטיה	יעד
v1	סינתטי, מכמה מנועי TTS ומכמה מבטאים, עם רעש מעורבב: 11 הקלטות שמכסות את סטי המבטאים, תנאי האודיו וסוגי התורים	אות הטיה מהותי בשכבה A על פני שונות במבטאי האנגלית; הטיה בשכבת מודלי השפה נשארת שער ל-v2/v3	הושלם
v2	משחקי תפקידים: מטפלים מניו זילנד + שחקנים קליניים בסביבות קליניות מציאותיות	אות הטיה ראשון לפי קבוצת בדיקה, מוגבל בשל התוכן המתוסרט	חוזה +60 יום
v3	הקלטות אמיתיות מבוססות הסכמה, קודם קבוצת הייצור באוסטרליה, ואחר כך קליניקות שותפות בניו זילנד	מדידת הטיה בעולם האמיתי בקבוצות באוסטרליה ובקליניקות השותפות בניו זילנד	חוזה +120 יום
v4	קבוצת אימות קליני משותפת עם Health New Zealand	טענות הטיה שמייצגות את הפריסה ב-HNZ	לפי אבני הדרך של הפריסה ב-HNZ

שכבה A – שיעור שגיאות המילים

השכבה המכנית. שיעור שגיאות המילים הוא מדד ותיק בזיהוי דיבור: מספר ההחלפות, ההוספות וההשמטות בין מה שתומלל לבין מה שנאמר בפועל, חלקי מספר המילים בתמליל הייחוס. נמוך יותר עדיף; 0% פירושו שהתמליל תאם לתמליל הייחוס מילה במילה.

WER = (החלפות + הוספות + השמטות) / מספר המילים בתמליל הייחוס

ספרייה. jiwer, מקובעת לגרסה בקובץ הנעילה של מערך הבדיקה, כך שאפשר לשחזר את המספרים המדויקים מכל commit.
נרמול. אותיות קטנות, הסרת סימני פיסוק, פריסת קיצורים נפוצים (mg → milligram וכו׳), Unicode NFKC. כללי הנרמול מקובעים לגרסה; הבדלים קוסמטיים לא נענשים, שגיאות אמיתיות כן.
רווחי סמך. דגימה חוזרת בשיטת Bootstrap של ההקלטות שדורגו, שמתפרסמת לצד שיעור שגיאות המילים הראשי. ההרצה שפורסמה באזור הזה קדמה לכך, ולכן הנתון שלה הוא עדיין אומדן נקודתי בלבד.
פירוט לפי קבוצת בדיקה. מחושב בסך הכול ולפי כל תגית בקורפוס: התנאים שכל הקלטה נבחרה לבדוק, כמו מבטא, שונות לשונית ותנאי אודיו. השונות בין הקבוצות היא אות ההטיה, גם כשהמספרים המוחלטים הם גבולות עליונים.
WER לכל הקלטה. מתפרסם כדי שאפשר יהיה לייחס נסיגה להקלטה מסוימת, ולא לקבור אותה מתחת לממוצע.

השוואה למוצרים אחרים. אין מול מה להשוות. רוב ספקי הסקרייבים שמאזינים ברקע לא מפרסמים שיעור שגיאות מילים בכלל. שני הספקים שמצאנו שכן מפרסמים, Nabla עם 11.8% ו-Abridge עם 12.7%, מודדים על מבחנים פנימיים שהם לא משחררים, כך שאי אפשר לשחזר או לבדוק אף אחד מהמספרים. אפשר להשוות WER רק על אותו אודיו ותחת אותם כללי נרמול, ולכן אנחנו מציגים את שלנו בפני עצמו, עם הקורפוס, ההקלטות ושיטת ההערכה שתוארו למעלה. נשמח אם ספקים אחרים יפרסמו את שלהם באותה דרך. עד שזה יקרה, להשוואה בין המספר שלנו למספר של מישהו אחר לא תהיה משמעות רבה.

מגבלה כנה. החלפה בעלת השפעה גבוהה (10mg → 100mg) והחלפה בעלת השפעה נמוכה (okay → OK) נספרות אותו דבר ב-WER גולמי. בגלל זה קיימת שכבה B: אי אפשר להסיק נכונות של תוכן קליני מ-WER ברמת המילים בלבד.

שכבה B – פאנל שופטים של מודלי שפה לכיסוי ולהזיות

השכבה האיכותנית. המסמך הקליני שנוצר מוערך מול רשימת העובדות שנרשמה מראש להקלטה, על ידי פאנל של מעריכים בלתי תלויים, מודלי שפה מכמה ספקים. שתי תכונות נמדדות בנפרד, כדי שאפשר יהיה לדווח עליהן בנפרד:

כיסוי (recall)

האם הרשומה כללה כל עובדה קלינית שההקלטה דרשה? קריאת שיפוט אחת לכל ציפייה שנרשמה מראש ב-detailsThatMustBeCaptured, לכל פלט, לכל שופט, בחזרות לצורך הצבעת רוב פנימית. Yes / partial / no.

הזיות (precision)

האם הרשומה מכילה טענות בעלות משמעות קלינית שאין להן תמיכה בתמליל? קריאת שיפוט אחת לכל פלט שנוצר, לכל שופט, שמחזירה רשימה של טענות מומצאות: תוכן שהמודל המציא. ההסכמה בין השופטים נשמרת באיחוד של הפאנל.

הפרומפט המדויק שכל שופט רואה

פרומפט המערכת ותבנית הודעת המשתמש מקובעים לגרסה במאגר מערך הבדיקה (app/next/tests/accuracy/lib/juror.ts) ומסונכרנים לדף הזה בכל רענון תוצאות. שניהם מוצגים מילה במילה למטה: מבקרים רואים בדיוק מה המודל התבקש, לא פרפרזה. ההרצות והרכב הפאנל משתנים; מעטפת הפרומפט עצמה לא.

הפרומפטים עוד לא סונכרנו. הריצו REGION=uk website/publish-trust.sh.

קריאות אטומיות של שאלה אחת

כל שיפוט שמערך הבדיקה מבקש מהפאנל הוא עובדה אחת, שאלה אחת, קריאה אחת. ידוע היטב שבקשה ממודל להעריך רשומה שלמה בקריאה אחת מובילה למיצוע של "נראה בסדר", שבו שגיאות בודדות מוחלקות. קריאות אטומיות גם ניתנות לביקורת: כל אחד יכול להריץ מחדש שיפוט בודד ולראות את שלוש תשובות השופטים ואת הכרעת הפאנל.

מה נחשב להזיה

עבור כל פלט, הפאנל מקבל את התמליל ואת המסמך שנוצר. כל שופט מונה כל טענה בעלת משמעות קלינית בפלט שאין לה תמיכה בתמליל: המודל המציא אותה. תוצאת הפאנל היא האיחוד בין השופטים, ללא כפילויות לפי נוסח הטענה. המדד שבכותרת סופר רק סימונים מאושרים, כלומר טענות שסומנו על ידי 2 שופטים לפחות; סימונים של שופט יחיד מוצגים כ"זמניים" בפירוט של כל פלט, אבל לא נכללים במדד שבכותרת. רף ההסכמה של שני שופטים הוא מה שהופך את המדד לעמיד מול תוצאות חיוביות שגויות של שופט יחיד שמפרש בקפדנות.

נחשב להזיה	לא נחשב
תסמין, ממצא, פרט מההיסטוריה, מינון, תרופה, צד (שמאל או ימין), מדידה או פרט זמן שנטען בפלט, אבל אין לו בסיס במשהו שנאמר בפועל בתמליל.	נוסח קבוע, כותרות מסמך, עיצוב או תוויות של סעיפים.
טענה על מינון שגוי, צד שגוי או תרופה שגויה, גם כשהיא דומה במראה למשהו שנאמר.	שינויי ניסוח ופרפרזות ששומרים על המשמעות הקלינית של משהו שהיה בתמליל בפועל.
ממצא מומצא שמוצג כעובדה ("המטופל שולל חום" כשהתמליל לא אמר דבר על חום).	ארגון סביר של תוכן מבוסס לסעיפי הרשומה (למשל העברת תסמין לסעיף "History of presenting complaint").
קביעה קלינית שחורגת מפרפרזה סבירה של התמליל.	ניסוחי בטיחות סטנדרטיים שלא טוענים עובדה קלינית חדשה ("מומלץ לחזור לבדיקה אם התסמינים מחמירים").

אנחנו בכוונה לא מסמנים תוכן שמבוסס בתמליל אבל נמצא מחוץ לרשימת הציפיות. detailsThatMustBeCaptured היא רשימת חובה, לא חוזה של "זה כל מה שהמסמך צריך להכיל". ענישה על כל טענה מבוססת שלא הופיעה בה יצרה יותר מדי תוצאות חיוביות שגויות, במיוחד ברשומות בסגנון SOAP, שסעיפי ה-Objective וה-Assessment שלהן חורגים באופן לגיטימי מפריטי החובה שצוינו.

הרכב פאנל השופטים

מודלים בלתי תלויים מכמה ספקים, כך שאופני הכשל אינם מתואמים. מערך הבדיקה לא תלוי בספק: כל מודל שזמין דרך מתאם נתמך יכול לשבת בפאנל, וגודל הפאנל גדל עם הזמן ככל שמתווספים מתאמים. השיטה פורסמה בשם Replacing Judges with Juries (Verga et al., 2024, Cohere). אנחנו משתמשים בה כי הצלבה בין מודלים בלתי תלויים עובדת טוב יותר בהקשרים של בטיחות קלינית מאשר אמון במודל יחיד.

משבצת	ספקים	הערות
שופט A	Anthropic (Claude, רמת Sonnet או Opus)	ציות חזק להוראות; שמרני בסימון הזיות.
שופט B	OpenAI (משפחת GPT-4)	קורפוס אימון וגישת התאמה (alignment) שונים מאלה של A.
שופט C	משקולות פתוחים (Llama או Mistral)	מנוף שקיפות: HNZ או כל בודק אחר יכולים להריץ את המשבצת הזו בעצמם.
שופט D (אופציונלי)	Google (Gemini)	אותו ספק כמו צינור ההפקה בסביבת הייצור. מדווח בנפרד; ראו את ההסתייגות למטה.

הסתייגות לגבי אותו ספק. Gemini יכול להשתתף בפאנל, אבל צינור הפקת המסמכים בסביבת הייצור משתמש גם הוא ב-Gemini, ושיפוט על ידי אותו ספק עלול ליצור נקודות עיוורות מתואמות: המצאה ש-Gemini הפיק כמחולל עשויה להיראות סבירה יותר ל-Gemini כשופט. הפתרון תפעולי: ההכרעות של Gemini מדווחות בנפרד מהכרעת הפאנל הרב-ספקי, כך שהקורא רואה מה Gemini לבדו היה אומר לעומת מה שהפאנל הרב-ספקי אמר. כשהפאנל הוא N=1 והשופט היחיד הוא Gemini (למשל בהרצות פיתוח מוקדמות), דוח האימות מציין זאת במפורש כדי שקוראים לא ייחסו למספרים האלה יותר מדי משקל.

כלל ההכרעה (משתנה לפי גודל הפאנל)

גודל הפאנל	כלל ההכרעה
N = 1	ההכרעה של השופט היחיד קובעת; חזרה והצבעה בתוך השופט הן המנוף להפחתת השונות.
N = 2	שניהם חייבים להסכים; במקרה של אי-הסכמה הקריאה נרשמת כפיצול, וההכרעה השמרנית (`partial`) היא שנרשמת.
N ≥ 3	הצבעת רוב לפי Verga et al.; הכרעות פה אחד נרשמות כביטחון גבוה; רוב שאינו פה אחד נרשם כפיצול.
כל גודל	אי-הסכמה על חומרת ההזיה מועברת לבדיקה ידנית של המנהל הקליני בתת-הקבוצה שמתפרסמת.

הדוחות כוללים לכל הקלטה את שיעור ההסכמה בפאנל: החלק מהקריאות שבהן הפאנל היה פה אחד (כש-N ≥ 2). שיעור גבוה של פה אחד מעיד שמקרים חד-משמעיים שולטים; שיעור פיצול גבוה מעיד שהמתודולוגיה פועלת באזור הקשה. שניהם מידע שימושי למעריכים, לא פגמים להסתיר.

חזרה והצבעה לכל שופט

כל שופט נקרא R פעמים ב-temperature 0 (ברירת מחדל R = 3, ניתן להגדרה לכל הרצה); ההצבעה של השופט היא הרוב מבין R התשובות שלו. זה מנטרל את 5–10% מהקריאות שבהן לשופט יחיד יש תשובה לא יציבה. העלות היא N × R קריאות לכל שיפוט; סוגי המודלים שבשימוש זולים יחסית לצינור ההפקה, והפחתת השונות היא העיקר. R נמוך יותר לאיטרציות פיתוח מהירות; R גבוה יותר למספרים שמתפרסמים ברמת ביטחון גבוהה יותר.

כיול והסכמה בין מעריכים

בדיקת שפיות לכיול (לכל גרסה של מערך הבדיקה). רשומה טובה בעליל ורשומה גרועה בעליל, שנכתבו ידנית, עוברות דרך הפאנל. הפאנל חייב לדרג אותן נכון. אם לא, המתודולוגיה שבורה עוד לפני שרצה הערכה אמיתית כלשהי, ומערך הבדיקה מושהה לבירור.
הסכמה בין מעריכים מול בני אדם (לכל דוח). 20% מההקלטות מוערכות באופן בלתי תלוי על ידי המנהל הקליני. Cohen's κ מחושב בין הכרעות הפאנל להכרעות המומחה הקליני בתת-הקבוצה הזו, ומתפרסם בדוח האימות.

Cohen's κ	טיפול
≥ 0.7	אפשר להגן על הכרעות הפאנל כמדד חלופי לשיפוט של מומחה קליני.
0.5 ≤ κ < 0.7	מתפרסם עם הסתייגות מפורשת; מופעלת איטרציה על המתודולוגיה.
< 0.5	המתודולוגיה נכשלת בדוח הזה; התוצאות לא מתפרסמות כטענות דיוק; מערך הבדיקה נבדק.

Cohen's κ אינו מדד של תחושת בטן: הוא מנטרל הסכמה מקרית. הכללתו הופכת את הפאנל מ"תסמכו על מודלי השפה" ל"מודלי השפה נמדדו מול מטפל בכל דוח".

שכבה C – סחיפה סמנטית מתוכננת

מדד מגשר בין WER גולמי (ברמת המילים) לבין פאנל השופטים (ברמת התוכן הקליני). גם תמליל הייחוס וגם התיעוד שנוצר מומרים לווקטורים (embedding) באותו מודל; דמיון קוסינוס נותן ציון סחיפה לכל הקלטה. המדד תופס נאמנות בארגון מחדש: התיעוד אמור להפשיט מהמקור, אבל לשמור על המשמעות הקלינית. שימושי כמדד רציף וזול שלא דורש תיוג לכל הקלטה, וקל לעקוב אחריו לאורך זמן. חריגים (סחיפה > N σ מהממוצע) מסומנים לבדיקה אנושית. נמצא במפת הדרכים; לא כלול במספרים שפורסמו ב-v1.

יכולת חזרה

צינור יכול להיות מדויק בממוצע אבל לא עקבי: כשאותו אודיו מפיק תיעוד שונה בכל פעם, זו בעיה של בטיחות קלינית, לא קוריוז. תת-קבוצה של הקלטות מהקורפוס מעובדת N פעמים בכל הרצת CI (ברירת מחדל 3). כל שכבות ההערכה רצות על כל הרצה חוזרת; השונות בין ההרצות היא ציון יכולת החזרה, ומדווחת לצד מספרי הדיוק שבכותרת.

תדירות הדיווח

תוצר	קהל יעד	תדירות
סיכום CI	מהנדסים	בכל pull request: עובר/נכשל עם השוואה מול main, כ-10 דקות ריצה, נכשל בנסיגה מעבר לסף (WER כולל > 2 נק׳ אחוז, כל קבוצה > 5 נק׳ אחוז).
מגמה לילית	הנדסה + הנהלה	רציף: הקורפוס המלא, פירוט מלא לפי קבוצות בדיקה, הערכת יכולת חזרה.
דוח שקיפות ציבורי	לקוחות, מעריכים, מבקרים, רגולטורים, הציבור	רבעוני: כל הקלטה, תמליל, מסמך שנוצר, הכרעה של כל שופט והנימוק שלה. הדף החי מוצג ישירות מקובץ `aggregate.json` של מערך הבדיקה.

יכולת שחזור

הכול בגרסאות. אודיו + תמלילים + רשימות עובדות + פרומפטים לשופטים + גרסאות מודלי השופטים, כולם שמורים במאגר הקוד. אפשר להריץ מחדש את מערך הבדיקה ממצב המאגר בכל commit.
פרסום בסקריפט אחד. הרצה חדשה של מערך הבדיקה מתפרסמת מקצה לקצה בסקריפט אחד (./publish.sh מתיקיית השקיפות). הוא מעתיק את aggregate.json של מערך הבדיקה לקובץ הנתונים של הדף ומסנכרן ב-rsync את קובצי האודיו להשמעה בדפדפן. אין שלב בנייה, אין framework, אין שכבת עריכה.
פתוח בכפוף ל-NDA, ואחר כך קוד פתוח. הקוד של מערך הבדיקה פתוח ל-HNZ בכפוף להסכם סודיות במהלך בדיקת הנאותות הטכנית, והיעד לטווח ארוך הוא לפתוח אותו כקוד פתוח (יעד: 12 חודשים אחרי הפריסה), כדי שמבקרים חיצוניים יוכלו להריץ מחדש את המתודולוגיה מקצה לקצה.
קורפוס ציבורי איפה שאפשר. אפשר לפתוח כקוד פתוח את קורפוס v1 (סינתטי) ואת קורפוס v2 (משחקי תפקידים, באישור המבצעים). הקלטות v3 (אמיתיות, מבוססות הסכמה) נשארות מוגבלות בגלל רגישות ה-PHI, גם אחרי צמצום ה-PHI; מספרים מצרפיים לכל קבוצת בדיקה מתפרסמים, אודיו ותמלילים גולמיים לא.

מתודולוגיה סטטיסטית

משעמם, אבל אפשר להגן עליו. ציון הדברים האלה במפורש הופך כל דוח מ"הרצנו את מערך הבדיקה" ל"הרצנו את מערך הבדיקה בשיטה הזו, ואחרים יכולים לשחזר".

רכיב	בחירה
חישוב WER	ספריית Python `jiwer`, מקובעת לגרסה בקובץ הנעילה.
נרמול טקסט	אותיות קטנות, הסרת סימני פיסוק, פריסת קיצורים נפוצים, Unicode NFKC. הכללים מקובעים לגרסה.
רווחי סמך ל-WER	דגימה חוזרת בשיטת Bootstrap (10,000 דגימות חוזרות) ברמת ביטחון של 95%; מדווח בפורמט `WER% [lower, upper]`.
השוואה בין קבוצות בדיקה	Bootstrap מזווג על אותו סט הקלטות בין גרסאות; מבחן פרמוטציה להבדלים בין קבוצות.
הסכמה בין מעריכים	Cohen's κ בין הפאנל לבין המנהל הקליני על 20% שהוערכו בידי אדם, מדווח לכל מדד (כיסוי, הזיות) ולא רק בסך הכול.
המכנה של שיעור ההזיות	משפטים ברשומה שנוצרה (כך שאפשר להשוות את השיעור בין רשומות באורכים שונים).
המכנה של שיעור הכיסוי	עובדות חיוביות שנרשמו מראש (כך ש-100% פירושו שכל עובדה נדרשת נכללה).
אי-הסכמה לכל שופט	Fleiss' κ בין שופטי הפאנל בכל קריאה, מצורף לכל הקלטה: בדיקת עקביות של השופטים (ניתן לחישוב כש-N ≥ 2).
טיפול בהשוואות מרובות	תיקון Benjamini-Hochberg FDR כשבודקים הבדלים בין קבוצות בדיקה רבות בו-זמנית.
הפחתת שונות	חזרה והצבעה (3× לכל שופט ב-temperature 0); רוב של פאנל של שלושה לפי Verga et al.

מבחן השוואתי: פאנל השופטים של Claude

באוקטובר 2026 הרצנו את אותן 13 הקלטות מהקורפוס דרך Hanah ודרך שישה סקרייבים אחרים מבוססי AI (Heidi, Lyrebird, Freed, PatientNotes, CliniScripts ו-Preve), ופרסמנו כל תמליל, רשומה וציון בדף המבחן ההשוואתי. הרשומות בהשוואה הזו מוערכות על ידי פאנל שופטים של Claude. דוחות הגרסאות בדף השקיפות מוערכים על ידי הפאנל שמתואר בשכבה B.

הקלטה

כל סקרייב רץ באפליקציית הרשת שלו ב-Chrome, מחובר לחשבון רגיל עם הגדרות ברירת מחדל. ההקלטה הושמעה דרך כניסת המיקרופון של הדפדפן, אותו קובץ לכל הסקרייבים, והפרומפטים של כל הקלטה הוקלדו מילה במילה לתוך פיצ׳ר המסמכים או הצ׳אט של אותו סקרייב. כל סקרייב רץ פעם אחת לכל הקלטה, כולם ב-6 באוקטובר 2026. שיעור שגיאות המילים מחושב מהתמליל הסופי של כל סקרייב, בדיוק כמו בשכבה A.

הערכה עיוורת

עבור כל הקלטה, הפלט של כל סקרייב לכל פרומפט הוכנס לחבילה אחת יחד עם תמליל הייחוס ורשימת הבדיקה. הפלטים עורבבו והוסתרו מאחורי אותיות (A עד G), ושמות המוצרים הוסרו מהטקסט. Claude, המודל של Anthropic, העריך כל חבילה מול תמליל הייחוס בלבד. המפתח בין האותיות למוצרים נפתח רק אחרי שכל 13 ההקלטות הוערכו.

מחוון ההערכה

ציון	משמעות
רשימת בדיקה: כן	הרשומה מציינת את הפריט נכון. הניסוח יכול להיות שונה; המשמעות חייבת להיות זהה.
רשימת בדיקה: חלקי	מופיע, אבל לא שלם או לא מדויק באופן שמטפל היה שם לב אליו, למשל צד, מינון, מספר או טווח זמן חסרים.
רשימת בדיקה: לא	חסר, או מצוין באופן שגוי.
סימון הזיה משמעותית	קביעה שהתמליל לא תומך בה ושעלולה לשנות את הטיפול או להציג את התמונה הקלינית באופן שגוי: תסמין, ממצא, תוצאת בדיקה, אבחנה, תרופה או תוכנית שהומצאו; צד או שם תרופה שגויים; מצב אלרגיות שאף אחד לא שאל עליו; אבחנה מבדלת אחת שמוצגת כסיבה כשהמטפל השאיר את השאלה פתוחה.
סימון הזיה קלה	כל קביעה אחרת שאין לה תמיכה: סיבה או סיכון שאף אחד לא ציין, מילת העצמה כמו "חמור", שלילה שאף אחד לא שאל עליה, שורת מעקב כללית, תאריך מומצא.

כללי עקביות

איות פונטי של שמות הוא שגיאת תמלול, ונספר בשיעור שגיאות המילים. שם תרופה שגוי הוא סימון הזיה משמעותית.
ניסוח מחדש של מה שנאמר במונחים קליניים מקובלים לא מסומן, למשל pH 7.26 עם lactate 4.3 שנכתב כחמצת מטבולית.
כשהפרומפט מבקש הערכה, קישור של ממצאים שנאמרו לאבחנות המבדלות שהמטפל אמר לא מסומן.
תוכן כותרת שהמערכת מספקת לא מסומן: תאריך המפגש, תווית תיק המטופל, ושם המטפל, המקצוע והקליניקה שלו.
התערבות, עצה, הגבלה, הפניה, בדיקה, הוראת ניטור או החלטת טיפול שהומצאו הן הזיה משמעותית. שורה כללית כמו "מעקב בביקור הבא" היא הזיה קלה.

תמלילים

כל תמליל מיושר מילה במילה מול תמליל הייחוס, והבדלים במילות מילוי מונחים בצד. Claude שופט כל הבדל שנותר באופן עיוור: שגיאת תמלול משמעותית קלינית היא שגיאה שעלולה להטעות מטפל לגבי אבחנה, טיפול, מעקב, בטיחות או הרשומה, כמו תרופה, מינון, מספר, צד או תסמין שגויים, שלילה או דגל אדום שאבדו, או תוכן קליני שהושמט. שיעור שגיאות המילים מחושב כמו בשכבה A, וצורות כתיבה שוות ערך נחשבות לאותן מילים (22 mm ו-22 millimetres, איות אמריקאי ובריטי, ספרות סיניות וערביות, סינית מפושטת ומסורתית). בסינית הציון מחושב לפי תו.

הגדרות שפה

בסקירה שנאמרה ברובה במנדרינית, כל סקרייב שמציע הגדרת שפת קלט הוגדר למנדרינית: Heidi לאנגלית ולסינית (מנדרינית), Lyrebird ו-PatientNotes לסינית (מנדרינית, מפושטת). CliniScripts לא הפיק תמליל כשנבחרו סינית ואנגלית, בשני ניסיונות, ולכן נעשה שימוש בהגדרה הרגילה שלו. ל-Preve אין הגדרת שפת קלט, ו-Freed ו-Hanah מזהים את השפה בעצמם. Heidi ו-Hanah הריצו את הסקירה הזו שלוש פעמים כל אחד, ותוצאות התמליל שלהם הן ממוצע.

ציונים

הפרטים הקליניים שנכללו מקבלים ציון: כן = 1, חלקי = 0.5, לא = 0, על פריטי רשימת הבדיקה הקליניים של הפרומפט הראשון בכל הקלטה. סימוני ההזיות נספרים על אותן רשומות. הרשומה הקלינית הרגילה של Preve מקבלת ציון על אותם פריטים קליניים, כי Preve ממלאת הוראה מותאמת רק אחרי שמעלים PDF לדוגמה כדי לבנות תבנית. שגיאות תמלול משמעותיות נספרות לכל מפגש. נתון התעשייה הוא הממוצע של ששת הסקרייבים האחרים. כל הכרעה וכל סימון הזיה מתפרסמים עם הנימוק שלהם בדף המבחן ההשוואתי.

המגבלות, מראש

הן מופיעות בעמוד 1 של כל דוח אימות, כדי שהקוראים יבינו את היקף מה שנמדד.

לגבי הקורפוס (v1 במיוחד)

WER כולל על אודיו סינתטי נשאר אופטימי לעומת WER בעולם האמיתי, גם כשמעורבב בו רעש. טלוויזיה ברקע, רעשי רקע בחדר ורעש חוץ מוספים בכוונה, אבל דיבור חופף, שטף דיבור לקוי והאקוסטיקה של חדר טיפולים אמיתי מסוים עדיין חסרים.
השונות ב-WER של ה-STT בין קבוצות הבדיקה, בתאי מבטאי האנגלית שהופקו על ידי כמה ספקי TTS, היא אות הטיה מהותי בשכבה A: שימוש ביותר מספק אחד לכל תא חושף תוצרי לוואי של ספריית קולות של ספק יחיד כאי-הסכמה בין ספקים, במקום שייבלעו בשקט במספר הכותרת.
v1 לא מבססת הטיה בשכבת מודלי השפה (השמטה, סטריאוטיפים, התאמה תרבותית) או ביצועים ב-te reo Māori, מעבר אותנטי בין שפות, שטף דיבור לקוי, דיסארתריה / AAC או דיבור של ילדים. אלה נשארים שערים שדורשים קבוצות אמיתיות, ועוברים ל-v2 (משחקי תפקידים עם מטפלים מניו זילנד + שחקנים) ול-v3 (אודיו אמיתי מבוסס הסכמה).
קולות סינתטיים במבטא ניו זילנדי ובמבטא מאורי מאומנים על קורפוסים קטנים שאולי אינם מייצגים; דגימה מכמה ספקים מקטינה את הסיכון הזה אבל לא מבטלת אותו. הם אינם תחליף לדוברים מאורים אמיתיים, ומערך הבדיקה לא מציג אותם ככאלה.
שיעור ההזיות ב-v1 הוא גבול תחתון. קלט נקי נותן למודל השפה פחות רעש להמציא ממנו; השיעורים בעולם האמיתי יהיו גבוהים יותר.

לגבי פאנל השופטים

פאנל השופטים של מודלי השפה בעצמו אינו מושלם. Cohen's κ מול ההערכה של המנהל הקליני הוא הגבול המפורסם למידת האמון בהכרעות הפאנל. κ < 0.5 פירושו שהדוח לא מתפרסם כטענת דיוק.
הנוסח הקבוע המותר הוא שאלה של שיקול דעת. רשימה מתירנית מפחיתה סימוני הזיה שגויים, אבל עלולה להסתיר סחיפה אמיתית. שינויים ברשימה המותרת דורשים אישור של המנהל הקליני ונרשמים ביומן.
רשימות העובדות שנרשמו מראש מקודדות את נקודת המבט של מטפל על מה שחשוב. אי-הסכמה סבירה על מה שרשומה "צריכה" לכלול אפשרית.

לגבי ההיקף

דיוק שספציפי לפריסה ב-HNZ אפשר לאשר רק באימות שספציפי לפריסה. v3 מכסה את קבוצת הייצור באוסטרליה; v4 (משותפת עם HNZ) היא הדרך למספרים שמייצגים את הפריסה בניו זילנד.
בדיקות יכולת החזרה תופסות שונות בתוך הרצה; סחיפה בין גרסאות מדווחת בנפרד, כהשוואה מזווגת מרבעון לרבעון.
כנות לגבי גודל המדגם. עם n = 10 הקלטות שמתפזרות על 4–5 קבוצות בדיקה, רווחי הסמך לכל קבוצה רחבים. רווחים רחבים מדווחים בשקיפות, יחד עם תוכניות הגדלה, במקום להציג רווחים צרים אבל לא מציאותיים.

איפה נמצאות הראיות

התוצאות העדכניות

תמלילים לכל הקלטה, המסמכים שנוצרו, וההכרעות של כל מודל שפה בפאנל מול קורפוס v1. אפשר להיכנס לפרטים של כל הקלטה.

לדוח השקיפות ←

הנתונים המצרפיים הגולמיים

התוצר המלא, הקריא למכונה, שדף השקיפות מוצג ממנו. כל מספר שפורסם אפשר לחשב ישירות מהקובץ הזה.

לנתונים הגולמיים ←

מרכז האמון

בקרות אבטחה ופרטיות, מעבדי משנה, והתאמה ל-Privacy Act 2020 / HIPC 2020 בתוכנית הרחבה שהמתודולוגיה הזו היא חלק ממנה.

לדף הבית של מרכז האמון ←

מקורות

Verga, P. et al. (2024). Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models. Cohere. הבסיס המפורסם לשיטת פאנל השופטים של מודלי שפה (PoLL) שמשמשת בשכבה B.
Zheng, L. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. מתעד את המגבלות של שופט יחיד ששיטת הפאנל מטפלת בהן.
Cohen, J. (1960). A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement. מדד ה-κ שמשמש להסכמה בין הפאנל למטפל.
Fleiss, J. L. (1971). Measuring Nominal Scale Agreement Among Many Raters. Psychological Bulletin. משמש לבדיקת העקביות בין השופטים.
jiwer: ספריית Python בקוד פתוח ל-WER ולמדדים קשורים; מקובעת לגרסה בקובץ הנעילה של מערך הבדיקה.

ציטוט המתודולוגיה

Hanah (2026). Validation methodology v1.1: Word Error Rate and LLM-jury grading of AI scribe accuracy (United Kingdom). Hanah, עודכן לאחרונה ב-12 בספטמבר 2026. https://hanah.health/uk/trust/wer-methodology/

מצטטים תוצאה ולא את השיטה? להרצה בבריטניה יש שורת ציטוט משלה במבחן הדיוק ההשוואתי, עם התאריכים שבהם דורגה ופורסמה.

מתודולוגיה v1.1 · עודכנה לאחרונה ב-12 בספטמבר 2026 · מתוחזקת על ידי המנכ״ל, המנהל הקליני וצוות ההנדסה. דוח האימות שמתפרסם מציין את גרסת המתודולוגיה שלפיה הוא הופק, כך שכל טענה ניתנת תמיד למעקב עד הכללים המדויקים שלפיהם היא הוערכה.