---
title: "מה השתנה – אימות Hanah (אוסטרליה)"
description: "איך השתנו תוצאות מבחן הדיוק ההשוואתי של Hanah בין ההרצה האחרונה שפרסמנו לבין הנוכחית, ומה בדיוק השתנה וגרם לכך."
source: https://hanah.health/he/au/trust/comparison/
---

שקיפות האימות

# מה השתנה.

המבחן ההשוואתי הקודם שפרסמנו, מול זה שאנחנו מפרסמים היום, על אותו קורפוס, באזור הזה. שני הדוחות נשארים זמינים במלואם, והמספרים שלמטה מחושבים מהם ולא מוקלדים ידנית.

**גם פאנל ההערכה השתנה.** ההרצה הקודמת שלנו הוערכה על ידי זוג קטן וזול יותר של מודלי שופטים. גילינו שהם עשו טעויות שאפשר היה להימנע מהן, כמו ספירה שגויה של משפטים וקריאה שגויה של מבנה המסמך, ולכן ההרצה הנוכחית מוערכת על ידי מודלים חזקים יותר. בחרנו במכוון _לא_ להעריך מחדש את ההרצה הישנה כדי להתאים. המספרים שלה נשארים כפי שנמדדו באותו יום. המשמעות היא שחלק מהשינוי בכיסוי שלמטה משקף הערכה טובה יותר ולא מוצר טוב יותר, ואנחנו מעדיפים לומר זאת מאשר לשכתב את ההיסטוריה בשקט.

## מה שינינו

-   **צינור ההקלטה.** תיקנו את סינון זיהוי הקול ועיכוב במפענח שהשמיט בשקט את סוף ההקלטות הארוכות. זה אחראי לרוב השיפור בשיעור שגיאות המילים.
-   **תמלילי הייחוס.** תיקנו תמלילי ייחוס במקומות שבהם הם לא תאמו לאודיו באופן הכתיבה ולא במילים עצמן: מספרים שנאמרו ונכתבו במילים, איות אזורי, קיצורי יחידות. טעויות שמיעה אמיתיות נשארו במקומן; בשבילן המבחן קיים.
-   **תיקון אחרי ההקלטה.** מעבר שני מאזין עכשיו שוב לאודיו ומתקן שגיאות תמלול לפני שהרשומה נכתבת. קודם לכן המעבר הזה נכשל בשקט ברוב ההקלטות.
-   **מודל הפקת הרשומות.** עודכן למודל חדש יותר, ואז נמדד במקום להניח. הוא הפחית תוכן מומצא; הוא לא שינה באופן משמעותי את דיוק התמלול, כי הוא לא זה שמתמלל.

## למה אנחנו מפרסמים את זה

ספקי מודלים משנים את מה שעומד מאחורי ה-API בלי להודיע, וספק שמבטיח שהשדרוג "יהיה טוב יותר" אינו ראיה. אנחנו מריצים מבחן השוואתי משלנו, לכל אזור, דרך אותו נתיב בדפדפן שמטפל משתמש בו, ומפרסמים את מה שראינו באותו תאריך. אם הרצה עתידית תראה נסיגה, גם היא תפורסם: או שנוכל להסביר אותה, או שמצאנו משהו לתקן.